👨🏿‍🚒 #⃣ 🕴️ Le livre «Apprentissage profond génératif. Le potentiel créatif des réseaux de neurones

Bonjour, habrozhiteli! La modélisation générative est l'un des sujets les plus discutés dans le domaine de l'intelligence artificielle. Les machines peuvent apprendre à dessiner, écrire et composer de la musique. Vous pouvez vous-même mettre l'intelligence artificielle à votre bureau ou sur un chevalet, pour cela, il suffit de se familiariser avec les exemples les plus pertinents de modèles d'apprentissage profond génératifs: auto-encodeurs variationnels, réseaux génératifs-compétitifs, modèles tels que encodeur-décodeur et bien plus encore.

David Foster rend l'architecture et les méthodes de modélisation générative compréhensibles et accessibles, ses conseils et astuces rendront vos modèles plus créatifs et efficaces en formation. Vous commencerez par les bases d'une formation approfondie basée sur Keras, puis passerez aux algorithmes les plus avancés.

Comprendre comment les auto-encodeurs de variation changent les émotions dans les photographies.
Créez un GAN à partir de zéro.
Apprenez à travailler avec des modèles de génération de texte génératifs.
Découvrez comment les modèles génératifs aident les agents à effectuer des tâches d'apprentissage renforcées.
Explorez BERT, GPT-2, ProGAN, StyleGAN et plus encore.

Objectifs et approches

Ce livre examine les méthodes clés qui ont dominé le paysage de la modélisation générative ces dernières années et qui ont fait des progrès impressionnants dans les tâches créatives. En plus de se familiariser avec la théorie de base de la modélisation générative, dans ce livre, nous créerons des exemples de travail de certains modèles clés empruntés à la littérature et, étape par étape, nous envisagerons la mise en œuvre de chacun d'eux.

Tout au long du livre, vous rencontrerez de courtes histoires instructives expliquant la mécanique de certains modèles. L'une des meilleures façons d'étudier une nouvelle théorie abstraite est peut-être de la transformer d'abord en quelque chose de moins abstrait, comme une histoire, puis de plonger dans une description technique. Des sections séparées de la théorie seront plus compréhensibles dans un contexte qui comprend les personnes, les actions et les émotions, et non dans le contexte de concepts plutôt abstraits tels que, par exemple, les réseaux de neurones, la rétropropagation ou les fonctions de perte.

L'histoire et la description du modèle sont une méthode courante pour expliquer la même chose de deux points de vue. Par conséquent, lors de l'étude d'un modèle, il sera parfois utile de revenir à l'histoire correspondante. Si vous êtes déjà familier avec une astuce particulière, alors amusez-vous simplement à découvrir des parallèles dans chaque histoire avec chaque élément du modèle!

La première partie du livre présente les principales méthodes de construction de modèles génératifs, y compris un aperçu de l'apprentissage profond, des autocodeurs variationnels et des réseaux compétitifs génératifs. Dans la deuxième partie, ces méthodes sont utilisées pour résoudre plusieurs problèmes créatifs (dessin, composition d'histoires et musique) en utilisant des modèles tels que CycleGAN, des modèles tels que codec et décodeur et MuseGAN. Nous verrons comment la modélisation générative peut être utilisée pour optimiser la stratégie gagnante du jeu (World Models), considérons les architectures génératives les plus avancées disponibles aujourd'hui: StyleGAN, BigGAN, BERT, GPT-2 et MuseNet.

Modèle paramétrique Naive Bayes

Le modèle paramétrique bayésien naïf utilise une hypothèse simple pour réduire considérablement le nombre de paramètres à évaluer. Nous supposons naïvement que chaque caractéristique xj ne dépend d'aucune autre caractéristique.En ce

qui concerne l'ensemble de données obtenu sur Irma, cela signifie, par exemple, que le choix de la couleur des cheveux n'affecte pas le choix du type de vêtements, et le choix du type de lunettes n'affecte pas le choix de la coiffure. Plus formellement, pour tous les signes

Ceci est connu comme une supposition bayésienne naïve. Pour l'appliquer, nous utilisons d'abord la règle de probabilité de chaîne pour écrire la fonction de densité en tant que produit de probabilités conditionnelles:

où K est le nombre total de signes (c'est-à-dire cinq dans l'exemple avec la planète Irm).

Appliquez maintenant l'hypothèse naïve bayésienne pour simplifier la dernière ligne:

Il s'agit d'un modèle bayésien naïf. La tâche consiste à évaluer les paramètres

de chaque entité individuellement et à les multiplier pour déterminer la probabilité d'une combinaison possible.

Combien de paramètres doivent être évalués dans notre tâche? Pour chaque caractéristique, vous devez évaluer le paramètre pour chaque valeur que cette caractéristique peut prendre. Par conséquent, dans l'exemple avec la planète Irm, ce modèle est déterminé par seulement 7 + 6 + 3 + 4 + 8 - 5 = 23 paramètres.

Le

score de vraisemblance maximale est calculé comme suit:

où

est le nombre de fois où l'attribut k prend la valeur l dans l'ensemble de données, et N = 50 est le nombre total d'observations.

Dans la table. 1.2 montre les paramètres calculés pour un ensemble de données de la planète Irm. Pour trouver la probabilité avec laquelle le modèle générera une observation x, il suffit de multiplier les probabilités des caractéristiques individuelles. Par exemple:

Remarque: cette combinaison est absente de l'ensemble de données d'origine, mais notre modèle en détermine une probabilité non nulle, ce qui signifie qu'il peut la générer. De plus, la probabilité de cette combinaison est plus élevée que, par exemple (coupe de cheveux longue, cheveux raides; rousse; lunettes rondes; t-shirt à col rond; bleu01), car la couleur blanche des vêtements apparaît plus souvent dans le jeu d'observation que dans le bleu.

Autrement dit, le modèle bayésien naïf est capable d'identifier une certaine structure de données et de l'utiliser pour créer de nouveaux échantillons qui ne sont pas dans l'ensemble d'origine. Le modèle a estimé la probabilité de rencontrer chaque valeur d'attribut indépendamment des autres.Par conséquent, en utilisant l'hypothèse naïve bayésienne, ces probabilités peuvent être multipliées pour construire une fonction de densité complète,

En figue. 1.8 montre 10 observations sélectionnées par le modèle.

Pour cette tâche simple, l'hypothèse naïve bayésienne d'indépendance des attributs est raisonnable et fournit donc un bon modèle génératif.

Voyons maintenant ce qui se passe si cette hypothèse s'avère erronée.

Salut Irm! Continuation

Vous ressentez une certaine fierté lorsque vous regardez dix nouvelles créations créées par votre modèle naïf bayésien. Encouragé par votre succès, vous portez attention à l'autre côté de la tâche, et cette fois, cela ne semble pas aussi simple.

L'ensemble de données avec le nom simple Planet Pixel qui vous a été fourni ne contient pas les cinq fonctionnalités de haut niveau que vous avez vues ci-dessus (couleur des cheveux, type d'accessoire, etc.), mais uniquement les 32 × 32 pixels qui composent chaque image. Autrement dit, chaque observation a maintenant 32 × 32 = 1024 signes et chaque signe peut prendre n'importe laquelle des 256 valeurs (couleurs individuelles dans la palette).

Les images du nouvel ensemble de données sont présentées sur la Fig. 1.9, et un échantillon de valeurs de pixels pour les dix premières observations est présenté dans le tableau. 1.3.

Vous décidez de réessayer le modèle bayésien naïf, cette fois formé sur un ensemble de données de pixels. Le modèle évaluera les paramètres de vraisemblance maximale qui déterminent la distribution des couleurs de chaque pixel afin de générer de nouvelles observations basées sur cette distribution. Cependant, après avoir terminé le modèle, vous comprenez que quelque chose s'est mal passé. Au lieu de nouveaux échantillons de mode, le modèle a mis en évidence dix images similaires, sur lesquelles ni les accessoires ni les signes clairs d'une coiffure ou d'un vêtement ne peuvent être distingués (Fig. 1.10). Pourquoi est-ce arrivé ainsi?

A propos de l'auteur

David Foster est co-fondateur d'Applied Data Science, une société de conseil en données qui développe des solutions personnalisées pour les clients. Il a obtenu une maîtrise en mathématiques du Trinity College, Cambridge, Royaume-Uni, et une maîtrise en recherche opérationnelle de l'Université de Warwick.

A remporté plusieurs concours internationaux d'apprentissage automatique, y compris l'achat de produits InnoCentive Predicting. Il a reçu le premier prix de visualisation qui a permis à une entreprise pharmaceutique aux États-Unis d'optimiser le choix de l'emplacement des essais cliniques.

Un membre actif des communautés en ligne intéressées par la science des données et l'auteur de plusieurs articles de blog sur l'apprentissage en profondeur à succès, y compris"Comment créer votre propre AlphaZero AI en utilisant Python et Keras . "

»Plus d'informations sur le livre peuvent être trouvées sur le site Web de l'éditeur
» Contenu
» Extrait

pour Khabrozhiteley 25% de réduction sur le coupon - Deep learning

Lors du paiement de la version papier du livre, un livre électronique est envoyé par e-mail.

Le livre «Apprentissage profond génératif. Le potentiel créatif des réseaux de neurones »

Objectifs et approches

Modèle paramétrique Naive Bayes

Salut Irm! Continuation

A propos de l'auteur

More articles: