我们如何创建神经网络艺术画廊，以及为什么不提供图片复制

今天，我们启动了一个虚拟画廊，其中所有图片都是由神经网络创建的。它的特点是只有一个人可以全尺寸拍摄每张照片。几乎像一个真实的画廊。

在这篇文章中，我将讨论这个想法的产生方式以及我们如何使用两个神经网络来实现它，其中一个用于Yandex搜索。



想法

我们对GAN进行了大量试验，并试图找到一个美丽而可理解的项目的想法，在其中我们可以展示我们的成就。

我已经有一个为自己和朋友启动的ganarts项目。这只是一个页面，上面无休止地生成了T恤上印刷形式的图片。它们是由StyleGAN神经网络生成的，并经过Wikiart精心挑选的艺术风格的培训。

Gif项目

我们以这个想法为基础。但是我不想只做一个图片的网站生成器。在讨论过程中，出现了带有多个主题房间的美术馆的概念，其中每张图片的所有者不得超过一个。根据我们的想法，这应该将虚拟画廊与更熟悉的画廊联系起来，在其中每个图片都有特定的所有者。同时，由于能够生成数百万个图像，因此我们特别限制了它们的数量，以便每个设法拾取图片的用户都能感觉到它的独特性。而且我们增加了一个限制-您最多只能拍摄一张照片-因此选择更加有趣。

实作

由于Nvidia公司发布了用于训练StyleGAN神经网络的代码，因此很难以生成的图像使某人感到惊讶。它的作者设法建立了一个相当通用的体系结构，该体系结构在不同数据上显示出良好的结果。一个突破是，该模型可以在可接受的时间内以足够高的分辨率（1024×1024）进行训练，并且质量优于竞争对手。

发烧友会“喂饱”她即将发生的一切。如果您有兴趣查看此类项目，这里列出了最引人注目的项目。

-人物：thispersondoesnotexist.com-
动漫：www.thiswaifudoesnotexist.net-
猫：thesecatsdonotexist.com-
权力的游戏角色：nanonets.com/blog/stylegan-got
-汽车：twitter.com/SyntopiaDK/status/1094337819659644928
-标志：twitter.com/matthewjarvisw/status/1110548997729452035
-儿童画：twitter.com/roberttwomey/status/1239050186120282113
-错误：twitter.com/karim_douieb/status/1229903297378766854
-加菲猫漫画：twitter.com/willynguen/status/1220382062554898433-
字体：twitter.com/cyrildiagne/status/1095603397179396098-
显微镜下的图像：twitter.com/MichaelFriese10/status/1229453681516412928-
口袋妖怪：twitter.com/MichaelFriese10/status/ 1210305621121064960

但进展并非止步不前，Nvidia于2019年底发布了第二版StyleGAN。可以在Habré上阅读所有更改的详细概述。主要的可见改进是通过更改网络中激活的标准化方法来摆脱特征性的液滴状伪像。在我们的初始数据集上尝试了新的体系结构之后，我们还注意到生成的绘画种类有所增加，这不禁让人感到高兴。我们的假设：这是由于体系结构第二版中参数数量的增加，这使我们能够了解数据分配中的更多“模式”。

StyleGAN第二版的另一个不错的好处是“更平滑”的潜在空间。简而言之，这使您可以在不同图片之间流畅地流动：


为了创建绘画，我们使用了StyleGAN2体系结构。我们对属于绘画不同领域的作品进行了神经网络训练：从野兽派和立体派到极简主义和街头艺术。训练集中总共约有4万幅绘画，并在此基础上生成了全新的图像。

我们的画廊有四个主题馆：“人民”，“自然”，“城市”和“心情”。为了将绘画划分为大厅，我们使用了在Yandex.Pictures中使用的神经网络。她通过在文本请求中发布图片来学习用户点击。我们的内部训练数据集足够大，因此该神经网络甚至可以找出生成的模式。她帮助根据大量文本中的文字要求自动选择图像。例如，对于一个名为“人”的房间，应“美”，“圆舞”，“约会”，“大师”等要求选择绘画。这产生了主题房间的感觉，最初的查询用作绘画的名称。

结果



我们做了一个画廊四千幅画，每幅都可以找到它的所有者。通过这个虚拟画廊，我们希望进一步缩短神经网络创造力与更切实可行的艺术之间的距离。

我相信，用户选择图片的过程也可以称为创造力的体现。我希望将来会有更多的机会进行创意选择。