Das Buch „Generatives Deep Learning. Das kreative Potenzial neuronaler Netze “

BildHallo habrozhiteli! Generative Modellierung ist eines der am meisten diskutierten Themen im Bereich der künstlichen Intelligenz. Maschinen können lernen, Musik zu zeichnen, zu schreiben und zu komponieren. Sie selbst können künstliche Intelligenz an Ihren Schreibtisch oder an eine Staffelei stellen. Dazu reicht es aus, sich mit den wichtigsten Beispielen für generative Deep-Learning-Modelle vertraut zu machen: Variations-Auto-Encoder, generativ-wettbewerbsfähige Netzwerke, Modelle wie Encoder-Decoder und vieles mehr.

David Foster macht die Architektur und Methoden der generativen Modellierung verständlich und zugänglich. Seine Tipps und Tricks machen Ihre Modelle kreativer und effektiver im Training. Sie beginnen mit den Grundlagen eines eingehenden Trainings auf der Basis von Keras und gehen dann zu den fortschrittlichsten Algorithmen über.

  • Verstehen Sie, wie Variations-Auto-Encoder Emotionen in Fotos verändern.
  • Erstellen Sie ein GAN von Grund auf neu.
  • Erfahren Sie, wie Sie mit generativen Texterzeugungsmodellen arbeiten.
  • Entdecken Sie, wie generative Modelle Agenten dabei helfen, verstärkte Lernaufgaben zu erledigen.
  • Entdecken Sie BERT, GPT-2, ProGAN, StyleGAN und mehr.

Ziele und Ansätze


In diesem Buch werden die wichtigsten Methoden erörtert, die in den letzten Jahren die Landschaft der generativen Modellierung dominiert und bei kreativen Aufgaben beeindruckende Fortschritte erzielt haben. Neben der Erforschung der grundlegenden Theorie der generativen Modellierung werden wir in diesem Buch Arbeitsbeispiele einiger Schlüsselmodelle erstellen, die aus der Literatur entlehnt wurden, und Schritt für Schritt die Implementierung jedes dieser Modelle betrachten.

Im gesamten Buch werden Sie auf kurze lehrreiche Geschichten stoßen, die die Mechanik einiger Modelle erklären. Vielleicht ist eine der besten Möglichkeiten, eine neue abstrakte Theorie zu studieren, sie zuerst in etwas weniger Abstraktes wie eine Geschichte umzuwandeln und erst dann in eine technische Beschreibung einzutauchen. Separate Abschnitte der Theorie werden in einem Kontext verständlicher, der Menschen, Handlungen und Emotionen umfasst, und nicht im Kontext von eher abstrakten Konzepten wie beispielsweise neuronalen Netzen, Rückausbreitung oder Verlustfunktionen.

Die Geschichte und Beschreibung des Modells ist eine übliche Methode, um dasselbe aus zwei Blickwinkeln zu erklären. Daher ist es beim Studium eines Modells manchmal nützlich, zur entsprechenden Geschichte zurückzukehren. Wenn Sie bereits mit einem bestimmten Trick vertraut sind, haben Sie einfach Spaß daran, Parallelen in jeder Geschichte mit jedem Element des Modells zu entdecken!

Der erste Teil des Buches enthält wichtige Methoden zur Konstruktion generativer Modelle, einschließlich eines Überblicks über Deep Learning, Variationsautocodierer und generativ-wettbewerbsfähige Netzwerke. Im zweiten Teil werden diese Methoden verwendet, um verschiedene kreative Probleme (Zeichnen, Komponieren von Geschichten und Musik) mithilfe von Modellen wie CycleGAN, Modellen wie Codec und Decoder sowie MuseGAN zu lösen. Wir werden sehen, wie generative Modellierung verwendet werden kann, um die Gewinnstrategie des Spiels zu optimieren (World Models). Betrachten Sie die fortschrittlichsten generativen Architekturen, die heute verfügbar sind: StyleGAN, BigGAN, BERT, GPT-2 und MuseNet.

Naives Bayes-Parametriemodell


Das naive Bayes'sche parametrische Modell verwendet eine einfache Annahme, um die Anzahl der zu bewertenden Parameter drastisch zu reduzieren. Wir gehen naiv davon aus, dass jedes Merkmal xj nicht von einem anderen Merkmal abhängt. BildIn Bezug auf den auf Irma erhaltenen Datensatz bedeutet dies beispielsweise, dass die Wahl der Haarfarbe die Wahl des Kleidungstyps nicht beeinflusst und die Wahl des Brillentyps die Wahl der Frisur nicht beeinflusst. Formaler für alle AnzeichenBild

Bild

Dies ist als naive Bayes'sche Vermutung bekannt. Um es anzuwenden, verwenden wir zuerst die Kettenwahrscheinlichkeitsregel, um die Dichtefunktion als Produkt bedingter Wahrscheinlichkeiten zu schreiben:

Bild

Dabei ist K die Gesamtzahl der Zeichen (dh fünf im Beispiel mit dem Planeten Irm).

Wenden Sie nun die naive Bayes'sche Annahme an, um die letzte Zeile zu vereinfachen:

Bild

Dies ist ein naives Bayes'sches Modell. Die Aufgabe besteht darin, die Parameter Bildfür jedes Merkmal einzeln auszuwerten und zu multiplizieren, um die Wahrscheinlichkeit einer möglichen Kombination zu bestimmen.

Wie viele Parameter müssen in unserer Aufgabe ausgewertet werden? Für jedes Merkmal müssen Sie den Parameter für jeden Wert auswerten, den dieses Merkmal annehmen kann. Daher wird dieses Modell im Beispiel mit dem Planeten Irm nur durch 7 + 6 + 3 + 4 + 8 - 5 = 23 Parameter bestimmt.

Die maximale Wahrscheinlichkeitsbewertung wird Bildberechnet als

Bild

Dabei Bildgibt es die Häufigkeit, mit der das Attribut k den Wert l im Datensatz annimmt, und N = 50 ist die Gesamtzahl der Beobachtungen.

In der Tabelle. 1.2 zeigt die berechneten Parameter für einen Datensatz vom Planeten Irm. Um die Wahrscheinlichkeit zu ermitteln, mit der das Modell eine Beobachtung x erzeugt, reicht es aus, die Wahrscheinlichkeiten einzelner Merkmale zu multiplizieren. Zum Beispiel:
Bild

Bitte beachten Sie: Diese Kombination fehlt im Originaldatensatz, aber unser Modell bestimmt eine Wahrscheinlichkeit ungleich Null dafür, was bedeutet, dass es sie generieren kann. Darüber hinaus ist die Wahrscheinlichkeit dieser Kombination höher als beispielsweise (langer Haarschnitt, glattes Haar; Rotschopf; runde Brille; T-Shirt mit Rundhalsausschnitt; blue01), da die weiße Farbe der Kleidung im Beobachtungsset häufiger als blau erscheint.

Das heißt, das naive Bayes'sche Modell kann einige Datenstrukturen identifizieren und daraus neue Stichproben erstellen, die nicht im ursprünglichen Satz enthalten sind. Das Modell schätzte die Wahrscheinlichkeit, jeden Attributwert unabhängig von den anderen zu erfüllen. Daher können diese Wahrscheinlichkeiten unter Verwendung der naiven Bayes'schen Annahme multipliziert werden, um die Funktion der vollen Dichte zu konstruieren.Bild

Bild

In Abb. 1.8 zeigt 10 vom Modell ausgewählte Beobachtungen.

Für diese einfache Aufgabe ist die naive Bayes'sche Annahme der Unabhängigkeit von Attributen vernünftig und liefert daher ein gutes generatives Modell.

Nun wollen wir sehen, was passiert, wenn sich diese Annahme als falsch herausstellt.

Bild

Hallo Irm! Fortsetzung


Sie sind stolz, wenn Sie sich zehn neue Kreationen ansehen, die von Ihrem naiven Bayes'schen Modell geschaffen wurden. Von Ihrem Erfolg ermutigt, achten Sie auf die andere Seite der Aufgabe, und diesmal sieht es nicht so einfach aus.

Der Datensatz mit dem einfachen Namen Planet Pixel, der Ihnen zur Verfügung gestellt wurde, enthält nicht die fünf oben genannten allgemeinen Funktionen (Haarfarbe, Art des Zubehörs usw.), sondern nur die 32 × 32 Pixel, aus denen jedes Bild besteht. Das heißt, jede Beobachtung hat jetzt 32 × 32 = 1024 Zeichen und jedes Zeichen kann einen von 256 Werten annehmen (einzelne Farben in der Palette).

Bilder aus dem neuen Datensatz sind in Abb. 2 dargestellt. 1,9 und eine Stichprobe von Pixelwerten für die ersten zehn Beobachtungen ist in der Tabelle gezeigt. 1.3.

Sie beschließen, das naive Bayes'sche Modell erneut zu versuchen, diesmal trainiert an einem Pixeldatensatz. Das Modell wertet die Maximum-Likelihood-Parameter aus, die die Farbverteilung jedes Pixels bestimmen, um basierend auf dieser Verteilung neue Beobachtungen zu generieren. Nachdem Sie das Modell fertiggestellt haben, verstehen Sie jedoch, dass ein Fehler aufgetreten ist. Anstelle neuer Modebeispiele brachte das Modell zehn ähnliche Bilder heraus, auf denen weder Accessoires noch deutliche Anzeichen einer Frisur oder Kleidung zu erkennen sind (Abb. 1.10). Warum ist es so passiert?

Bild

Bild


Über den Autor


David Foster ist Mitbegründer von Applied Data Science, einem Datenberatungsunternehmen, das maßgeschneiderte Lösungen für Kunden entwickelt. Er erhielt einen Master-Abschluss in Mathematik vom Trinity College in Cambridge, Großbritannien, und einen Master-Abschluss in Betriebsforschung von der University of Warwick.

Gewann mehrere internationale Wettbewerbe für maschinelles Lernen, darunter den InnoCentive Predicting Product Purchase. Er erhielt den ersten Visualisierungspreis, mit dem ein Pharmaunternehmen in den USA die Standortwahl für klinische Studien optimieren konnte.

Ein aktives Mitglied von Online-Communities, die sich für Datenwissenschaft interessieren, und Autor mehrerer erfolgreicher Deep-Learning-Blog-Artikel, darunter"So erstellen Sie Ihre eigene AlphaZero-KI mit Python und Keras . "

»Weitere Informationen zum Buch finden Sie auf der Website des Herausgebers.
» Inhalt
» Auszug

für Khabrozhiteley 25% Rabatt auf den Gutschein - Deep Learning

Nach Zahlung der Papierversion des Buches wird ein E-Book per E-Mail verschickt.

All Articles