Get best of the week

《生成式深度学习》一书。神经网络的创造潜力”

图片您好，habrozhiteli！生成建模是人工智能领域中讨论最多的主题之一。可以教机器绘画，写作和创作音乐。您自己可以将人工智能放在您的办公桌或画架上，因为这足以使您熟悉生成式深度学习模型的最相关示例：变式自动编码器，生成竞争性网络，诸如编码器-解码器之类的模型等等。

David Foster使生成建模的体系结构和方法易于理解和使用，他的技巧将使您的模型在训练中更具创造力和效率。您将从基于Keras的深度培训的基础开始，然后继续使用最高级的算法。

  • 了解变化自动编码器如何改变照片中的情绪。
  • 从头开始创建GAN。
  • 了解如何使用生成文本生成模型。
  • 探索生成模型如何帮助代理完成强化学习任务。
  • 探索BERT，GPT-2，ProGAN，StyleGAN等。

目标和方法


本书讨论了近年来主导生成模型领域并在创造性任务中取得令人瞩目的进展的关键方法。除了熟悉生成模型的基本理论外，在本书中，我们还将创建一些从文献中借用的关键模型的工作示例，并逐步研究每个模型的实现。

在整本书中，您会遇到一些简短的指导性故事，它们解释了某些模型的原理。研究新的抽象理论的最佳方法之一可能是首先将其转化为不太抽象的事物（例如故事），然后才投入技术描述。在包括人，行为和情感的环境中，而不是在诸如神经网络，反向传播或损失函数之类的抽象概念的环境中，该理论的各个部分将更易于理解。

模型的故事和描述是从两种角度解释同一件事的常用方法。因此，在研究模型时，有时返回到相应的故事会很有用。如果您已经熟悉一个特定的技巧，那么就很有趣，发现每个故事与模型的每个元素都有相似之处！

本书的第一部分介绍了构建生成模型的关键方法，包括深度学习，变式自动编码器和生成竞争性网络的概述。在第二部分中，这些方法用于解决诸如CycleGAN，编解码器和解码器以及MuseGAN等模型的一些创造性问题（绘画，故事和音乐）。我们将看看如何使用生成建模来优化游戏的获胜策略（世界模型），并考虑当今可用的最先进的生成架构：StyleGAN，BigGAN，BERT，GPT-2和MuseNet。

朴素贝叶斯参数模型


朴素的贝叶斯参数模型使用一个简单的假设来大大减少要评估的参数数量。我们天真地假设每个特征xj不依赖于任何其他特征图片关于在Irma上获得的数据集，这意味着，例如，染发的选择不会影响衣服的选择，而眼镜的选择不会影响发型的选择。更正式地说，所有迹象图片

图片

这被称为幼稚的贝叶斯猜测。为了应用它，我们首先使用链概率规则将密度函数写为条件概率的乘积：

图片

其中K是符号的总数（在该示例中，行星Irm为5）。

现在应用朴素的贝叶斯假设以简化最后一行：

图片

这是一个朴素的贝叶斯模型。任务是分别评估图片每个功能部件的参数，并将它们相乘以确定任何可能组合的概率。

在我们的任务中需要评估多少个参数？对于每个特征，您需要为该特征可以采用的每个值评估参数。因此，在具有行星Irm的示例中，该模型仅由7 + 6 + 3 + 4 + 8-5 = 23个参数确定。

最大似然图片分数计算为

图片

其中图片，属性k在数据集中取值l的次数，N = 50是观测的总数。

在桌子上。 1.2显示了根据行星Irm计算出的数据集参数。为了找到模型生成观测值x的概率，将各个特征的概率相乘就足够了。例如：
图片

请注意：原始数据集中不存在此组合，但是我们的模型为它确定了非零概率，这意味着它可以生成它。此外，这种组合的可能性比例如（长发，直发，红发，圆形眼镜，圆领T恤，blue01）高，因为​​在观察集中出现白色衣服的频率比蓝色高。

也就是说，朴素的贝叶斯模型能够识别某些数据结构，并使用它来创建不在原始集中的新样本。该模型估算了彼此独立满足每个属性值的概率，因此，使用朴素贝叶斯假设，可以将这些概率相乘以构建全密度函数，图片

图片

在图。1.8显示了模型选择的10个观测值。

对于此简单任务，属性独立性的朴素贝叶斯假设是合理的，因此提供了良好的生成模型。

现在让我们看看如果这个假设是错误的，会发生什么。

图片

嗨，我！延续性


当您看一下由朴素的贝叶斯模型创建的十个新作品时，您会感到某种自豪感。在成功的鼓舞下，您要注意任务的另一端，这次看起来并不那么简单。

提供给您的直接名称为Planet Pixel的数据集不包含您在上面看到的五个高级功能（头发颜色，配件类型等），而仅构成每个图像的32×32像素。也就是说，每个观察现在具有32×32 = 1024个符号，每个符号可以采用256个值中的任何一个（调色板中的各个颜色）。

来自新数据集的图像如图2所示。 1.9，表中显示了前十个观察值的像素值样本。 1.3。

您决定再次尝试朴素的贝叶斯模型，这次在像素数据集上进行训练。模型将评估确定每个像素颜色分布的最大似然参数，以便基于此分布生成新的观察值。但是，在完成模型后，您了解出了问题。该模型代替了新的时装样本，展示了十个相似的图像，在这些图像上，发型和衣服的配饰或清晰的标志都无法区分（图1.10）。为什么会这样呢？

图片

图片


关于作者


David Foster是Applied Data Science的联合创始人，Applied Data Science是一家为客户开发定制解决方案的数据咨询公司。他拥有英国剑桥三一学院的数学硕士学位和华威大学的运筹学硕士学位。

赢得了多个国际机器学习竞赛，包括InnoCentive预测产品购买。他获得了首个可视化奖，该奖使美国的一家制药公司能够优化临床试验的地点选择。

对数据科学感兴趣的在线社区的活跃成员，以及几篇成功的深度学习博客文章的作者，包括“如何使用Python和Keras构建自己的AlphaZero AI。”

»有关这本书的更多信息，请访问出版商的网站
» 目录
» Khabrozhiteley 摘录

优惠券可享受25％的折扣- 深度学习

支付纸本版本后，会通过电子邮件发送一本电子书。

More articles:


All Articles