El libro "Aprendizaje profundo generativo. El potencial creativo de las redes neuronales "

imagenHola habrozhiteli! El modelado generativo es uno de los temas más discutidos en el campo de la inteligencia artificial. Se puede enseñar a las máquinas a dibujar, escribir y componer música. Usted mismo puede poner inteligencia artificial en su escritorio o en un caballete, para esto es suficiente familiarizarse con los ejemplos más relevantes de modelos generativos de aprendizaje profundo: codificadores automáticos variacionales, redes competitivas generativas, modelos como codificador-decodificador y mucho más.

David Foster hace que la arquitectura y los métodos de modelado generativo sean comprensibles y accesibles, sus consejos y trucos harán que sus modelos sean más creativos y efectivos en el entrenamiento. Comenzará con los conceptos básicos del entrenamiento en profundidad basado en Keras, y luego pasará a los algoritmos más avanzados.

  • Comprenda cómo los codificadores automáticos de variación cambian las emociones en las fotografías.
  • Crea una GAN desde cero.
  • Aprenda a trabajar con modelos generativos de generación de texto.
  • Descubra cómo los modelos generativos ayudan a los agentes a completar tareas de aprendizaje reforzado.
  • Explora BERT, GPT-2, ProGAN, StyleGAN y más.

Metas y enfoques


Este libro discute los métodos clave que han dominado el panorama del modelado generativo en los últimos años y han logrado un progreso impresionante en las tareas creativas. Además de explorar la teoría básica del modelado generativo, en este libro crearemos ejemplos prácticos de algunos modelos clave tomados de la literatura, y paso a paso consideraremos la implementación de cada uno de ellos.

A lo largo del libro, se encontrará con breves historias instructivas que explican la mecánica de algunos modelos. Quizás una de las mejores formas de estudiar una nueva teoría abstracta es transformarla primero en algo menos abstracto, como una historia, y solo luego sumergirse en una descripción técnica. Las secciones separadas de la teoría serán más comprensibles en un contexto que incluye personas, acciones y emociones, y no en el contexto de conceptos más bien abstractos como, por ejemplo, redes neuronales, propagación hacia atrás o funciones de pérdida.

La historia y la descripción del modelo es un método común para explicar lo mismo desde dos puntos de vista. Por lo tanto, al estudiar un modelo, a veces será útil volver a la historia correspondiente. Si ya estás familiarizado con un truco en particular, ¡diviértete descubriendo paralelos en cada historia con cada elemento del modelo!

La primera parte del libro presenta métodos clave para construir modelos generativos, incluida una visión general del aprendizaje profundo, autocodificadores variacionales y redes generativas competitivas. En la segunda parte, estos métodos se utilizan para resolver varios problemas creativos (dibujar, componer historias y música) utilizando modelos como CycleGAN, modelos como códec y decodificador y MuseGAN. Veremos cómo se puede usar el modelado generativo para optimizar la estrategia ganadora del juego (Modelos mundiales), consideremos las arquitecturas generativas más avanzadas disponibles en la actualidad: StyleGAN, BigGAN, BERT, GPT-2 y MuseNet.

Modelo paramétrico ingenuo de Bayes


El ingenuo modelo paramétrico bayesiano utiliza una suposición simple para reducir drásticamente el número de parámetros a evaluar. Asumimos ingenuamente que cada característica xj no depende de ninguna otra característica imagenCon respecto al conjunto de datos obtenido en Irma, esto significa, por ejemplo, que la elección del color del cabello no afecta la elección del tipo de ropa, y la elección del tipo de gafas no afecta la elección del peinado. Más formalmente, para todos los signosimagen

imagen

Esto se conoce como una ingenua suposición bayesiana. Para aplicarlo, primero usamos la regla de probabilidad de cadena para escribir la función de densidad como un producto de probabilidades condicionales:

imagen

donde K es el número total de signos (es decir, cinco en el ejemplo con el planeta Irm).

Ahora aplique el supuesto Bayesiano ingenuo para simplificar la última línea:

imagen

Este es un ingenuo modelo bayesiano. La tarea es evaluar los parámetros imagenpara cada característica individualmente y multiplicarlos para determinar la probabilidad de cualquier combinación posible.

¿Cuántos parámetros deben evaluarse en nuestra tarea? Para cada característica, debe evaluar el parámetro para cada valor que esta característica puede tomar. Por lo tanto, en el ejemplo con el planeta Irm, este modelo está determinado por solo 7 + 6 + 3 + 4 + 8 - 5 = 23 parámetros.

La imagenpuntuación de probabilidad máxima se calcula como

imagen

donde imagenes el número de veces que el atributo k toma el valor l en el conjunto de datos, y N = 50 es el número total de observaciones.

En la mesa. 1.2 muestra los parámetros calculados para un conjunto de datos del planeta Irm. Para encontrar la probabilidad con la que el modelo generará alguna observación x, es suficiente multiplicar las probabilidades de las características individuales. Por ejemplo:
imagen

Tenga en cuenta: esta combinación está ausente en el conjunto de datos original, pero nuestro modelo determina una probabilidad distinta de cero, lo que significa que puede generarla. Además, la probabilidad de esta combinación es mayor que, por ejemplo, (corte de pelo largo, pelo liso; pelirrojo; gafas redondas; camiseta con cuello redondo; azul01), porque el color blanco de la ropa aparece en el conjunto de observación con más frecuencia que el azul.

Es decir, el ingenuo modelo bayesiano puede identificar alguna estructura de datos y usarla para crear nuevas muestras que no están en el conjunto original. El modelo estimó la probabilidad de cumplir con cada valor de atributo independientemente de los demás; por lo tanto, utilizando el supuesto Bayesiano ingenuo, estas probabilidades se pueden multiplicar para construir una función de densidad completa,imagen

imagen

En la Fig. 1.8 muestra 10 observaciones seleccionadas por el modelo.

Para esta sencilla tarea, la ingenua suposición bayesiana de independencia de los atributos es razonable y, por lo tanto, proporciona un buen modelo generativo.

Ahora veamos qué sucede si esta suposición resulta ser errónea.

imagen

Hola irm Continuación


Sientes cierto orgullo cuando miras diez nuevas creaciones creadas por tu ingenuo modelo bayesiano. Animado por su éxito, presta atención al otro lado de la tarea, y esta vez no parece tan simple.

El conjunto de datos con el nombre directo Planet Pixel que se le proporcionó no contiene las cinco características de alto nivel que vio arriba (color de cabello, tipo de accesorio, etc.), sino solo los 32 × 32 píxeles que componen cada imagen. Es decir, cada observación ahora tiene 32 × 32 = 1024 signos y cada signo puede tomar cualquiera de los 256 valores (colores individuales en la paleta).

Las imágenes del nuevo conjunto de datos se muestran en la Fig. 1.9, y una muestra de valores de píxeles para las primeras diez observaciones se muestra en la Tabla. 1.3.

Decide probar el ingenuo modelo bayesiano nuevamente, esta vez entrenado en un conjunto de datos de píxeles. El modelo evaluará los parámetros de máxima verosimilitud que determinan la distribución del color de cada píxel para generar nuevas observaciones basadas en esta distribución. Sin embargo, después de completar el modelo, comprende que algo salió mal. En lugar de nuevas muestras de moda, el modelo sacó diez imágenes similares, en las que no se pueden distinguir ni los accesorios ni signos claros de un peinado o ropa (Fig. 1.10). ¿Por qué sucedió así?

imagen

imagen


Sobre el Autor


David Foster es cofundador de Applied Data Science, una empresa de consultoría de datos que desarrolla soluciones personalizadas para clientes. Recibió una maestría en matemáticas del Trinity College, Cambridge, Reino Unido, y una maestría en investigación operativa de la Universidad de Warwick.

Ganó varios concursos internacionales de aprendizaje automático, incluida la compra de productos de predicción InnoCentive. Fue galardonado con el primer premio de visualización que permitió a una compañía farmacéutica en los Estados Unidos optimizar la elección de la ubicación para los ensayos clínicos.

Miembro activo de comunidades en línea interesadas en la ciencia de datos y autor de varios artículos exitosos de blogs de aprendizaje profundo, incluidos"Cómo construir su propia IA AlphaZero usando Python y Keras" .

»Se puede encontrar más información sobre el libro en el sitio web del editor
» Contenido
» Extracto de

Khabrozhiteley 25% de descuento en el cupón - Aprendizaje profundo

Tras el pago de la versión en papel del libro, se envía un libro electrónico por correo electrónico.

All Articles