🤛🏻 🐯 🧙🏻 Cómo gané $ 1,000,000 sin experiencia y conexiones, y luego los gasté para hacer mi traductor 👩🏾‍🤝‍👨🏼 🙀 🤚🏿

Cómo todo empezó

Esta historia comenzó hace 15 años. Mientras trabajaba como programador en la capital, acumulé dinero y dejé mi trabajo para crear mis propios proyectos más tarde. Para ahorrar dinero, se fue a su casa, a una pequeña ciudad natal, donde trabajó en un sitio web para estudiantes, un programa de comercio, juegos para teléfonos móviles. Pero debido a la falta de experiencia empresarial, esto no generó ingresos, y pronto los proyectos se cerraron. Tuve que ir a la capital otra vez y conseguir un trabajo. Esta historia se repite varias veces.

Cuando mi dinero se acabó nuevamente, llegó la crisis. No pude encontrar trabajo, la situación se volvió crítica. Ha llegado el momento de mirar todas las cosas con una mirada sobria. Tuve que admitir honestamente que no sé qué nichos elegir para los negocios. Crear proyectos que simplemente te gusten es el camino a ninguna parte.

Lo único que pude hacer fueron las aplicaciones de iOS. Varios años de trabajo en empresas de TI me permitieron ganar algo de experiencia, y se decidió hacer muchas aplicaciones simples y fundamentalmente diferentes (juegos, música, dibujo, estilo de vida saludable, aprendizaje de idiomas) y probar en qué nichos habrá poca competencia. Se preparó un conjunto de clases y bibliotecas que permitieron crear rápidamente aplicaciones simples sobre diversos temas (juegos 2D, rastreadores GPS, utilidades simples, etc.). La mayoría de ellos tenían varias imágenes, 2 botones y una sola función. Pero eso fue suficiente para probar la idea y lo fácil que sería ganar dinero con ella. Por ejemplo, una aplicación en ejecución rastreó la velocidad, la distancia recorrida y las calorías contadas de una persona. Pasé un año y medio creando cientos de aplicaciones simples.Esta velocidad fue posible gracias a la compra de gráficos en acciones, así como a la reutilización de los códigos fuente.

Al principio las aplicaciones eran gratuitas. Luego agregué anuncios y compras en la aplicación, tomé palabras clave e íconos brillantes. Las aplicaciones comenzaron a descargarse.

Cuando el ingreso alcanzó los $ 30 mil / mes, decidí decirle a un amigo que trabajaba en una gran empresa de comestibles que podía lograr tal cifra en las aplicaciones de prueba, y le sugerí crearlas juntas. Él respondió que solo tienen 1 aplicación: un juego con un ingreso de $ 60 mil y 25 mil usuarios por mes, frente a $ 30 mil de ingresos y 200 mil usuarios de mí. Cambió completamente mis puntos de vista. Resultó que era mejor crear una aplicación de alta calidad que cien de baja calidad

Comprendí que puedes ganar decenas de veces más con los de alta calidad, pero estaba solo en una ciudad pequeña sin la experiencia y el equipo de diseñadores y comercializadores. Necesitaba pagar el alquiler de un departamento y ganarme la vida. Se necesitaban aplicaciones de prueba simplemente para probar nichos de mercado y estrategias publicitarias para aprender qué aplicaciones y cómo crearlas. Simplemente sucedió que algunos de ellos comenzaron a generar buenos ingresos. Ahora el tema de las aplicaciones simples ha muerto hace mucho tiempo, y ya no hay mucho dinero para ganar.

Algunas aplicaciones diferían enormemente en las ganancias: estos eran traductores, aplicaciones para el transporte de carga, programas de música (que simulan tocar el piano, la batería o, por ejemplo, acordes de guitarra, reproductores), así como juegos de lógica simples.

Al probar varios tipos de juegos, me di cuenta de que los juegos con una larga duración de sesión y participación del usuario (como "2048") pueden generar una gran cantidad de dinero durante un largo intervalo de tiempo. Pero al principio no era obvio. Por lo tanto, creé pruebas como rastreadores GPS para esquiadores y en las palabras clave puse el nombre de estaciones de esquí populares como Courchevel. Y luego se alegró de que un clic en publicidad le trajera $ 2. Pero era una estrategia a corto plazo, no escalable.

Entonces noté que en solo un mes, los traductores descargaron más de 1 millón de veces. Y esto a pesar del hecho de que estaban aproximadamente en la posición 100 en el ranking de la categoría.

Las aplicaciones de música dieron tantos saltos, pero dada la participación de los usuarios, fueron menos prometedoras. Los usuarios para ellos necesitan ser atraídos por palabras clave de alta frecuencia, y no hay muchos de ellos en este nicho: aquellos que buscan aplicaciones para la guitarra ingresan “guitarra”, “bajo”, “acordes”, etc. en la búsqueda. Es difícil encontrar muchos sinónimos para tales temas. Por lo tanto, los usuarios se centran en solicitudes de alta frecuencia, y tarde o temprano su participación será costosa. Los traductores son diferentes.

Hay cientos de idiomas en el mundo, y las personas ingresan una consulta no solo con la palabra general "traductor", sino con algunas palabras como solución a su problema: "traducir al francés", "traductor del chino". Si hay muchas solicitudes, puede atraer usuarios simplemente con palabras clave de frecuencia media (ASO). El nicho resultó prometedor, especialmente porque me gustó el tema de las traducciones.

Más tarde, se crearon unos 40 traductores simples utilizando la traducción proporcionada por la API de Google. Su costo fue de $ 20 por 1 millón de caracteres traducidos. Poco a poco, aparecieron versiones mejoradas de aplicaciones, donde agregué anuncios, compras en la aplicación y traducción de voz.

Habiendo ganado dinero, me mudé a Minsk y compré una casa. En ese momento, tenía entre 50 y 70 aplicaciones de traducción y 5 millones de descargas. Pero con el crecimiento de los usuarios, el costo de la API de Google Translate pagada aumentó. La rentabilidad del negocio ha disminuido seriamente. Los usuarios que pagan tradujeron bloques de 1 mil caracteres a la vez, lo que obligó a la introducción de límites en la solicitud. Cuando descansaron en el límite de la traducción, escribieron malas críticas y devolvieron el dinero. Ha llegado el momento en que el 70% de los ingresos se destinaron a gastos. Con grandes volúmenes de traducción, este negocio no era tan prometedor. Para recuperar los costos, era necesario agregar mucha publicidad a las aplicaciones, y esto siempre asusta a los usuarios. Se requirió hacer su propia API para la traducción, y esto probablemente no sería barato.

Traté de pedir asesoramiento e inversiones a las startups y a la comunidad de TI, pero no encontré soporte. La mayoría de la gente no entendía por qué trabajar en un mercado donde ya hay un líder: el traductor de Google.

Además de Google, hubo varias compañías que proporcionaron una API para la traducción. Estaba listo para pagar $ 30 mil por sus licencias de tecnología de traducción en 40 idiomas. Esto me permitiría traducir un número ilimitado de veces por un precio fijo y atender a cualquier número de usuarios en mis servidores. Pero en respuesta me llamaron la cantidad varias veces mayor. Era demasiado caro. Se decidió intentar hacer su propia tecnología para la traducción. Traté de atraer amigos para el desarrollo, pero para entonces la mayoría de ellos ya tenían familias, niños pequeños y préstamos. Todos querían estabilidad y vida a su gusto por un buen salario, y no ir a una startup. Tampoco entendieron por qué crear un traductor si hay Google con una aplicación de traducción y API geniales y sofisticadas. No tenía experiencia en hablar en público,Carisma y geniales aplicaciones prototipo para interesar a las personas. El análisis de ganancias de $ 300 mil en aplicaciones de traducción de prueba no sorprendió a nadie.

Me dirigí a un amigo que posee una empresa de outsourcing en Minsk. A finales de 2016, me asignó un equipo. Esperaba resolver el problema en seis meses sobre la base de proyectos de código abierto, para no depender de la API en Google.

Camino a mi traductor

El trabajo ha comenzado. En 2016, encontramos varios proyectos de código abierto: Apertium, Joshua y Moses. Era una traducción automática estadística, adecuada para textos simples. Estos proyectos fueron apoyados por 3 a 40 personas, y tomó mucho tiempo obtener una respuesta a una pregunta sobre ellos. Después de que lo descubrimos y aún los ejecutamos para las pruebas, quedó claro que necesitábamos servidores potentes y conjuntos de datos de alta calidad, que son caros. Incluso después de gastar dinero en hardware y un conjunto de datos de calidad para uno de los pares de traducción, la calidad dejó mucho que desear.

Técnicamente, no se redujo al esquema de "descargar dataset y entrenar". Resultó que hay un millón de matices que ni siquiera sabíamos. Probamos algunos recursos más, pero no logramos buenos resultados. Pero Google y Microsoft no revelan sus logros. Sin embargo, el trabajo continuó, los autónomos periódicamente conectados.

En marzo de 2017, nos topamos con un proyecto llamado Open NMT. Este es un desarrollo conjunto de Systran, uno de los líderes en el mercado de traducción automática, y la Universidad de Harvard. El proyecto se acaba de lanzar y ya ofrece traducción sobre la base de una nueva tecnología: las redes neuronales.

Las modernas tecnologías de traducción automática pertenecen a grandes empresas, están cerradas. Los jugadores pequeños, al darse cuenta de lo difícil que es infiltrarse en este mundo, no hacen tales intentos. Esto impide el desarrollo del mercado. La calidad de la traducción entre los líderes no fue muy diferente entre sí durante mucho tiempo. Obviamente, las grandes empresas también enfrentaron una escasez de entusiastas, trabajos científicos, nuevas empresas y proyectos de código abierto para tomar nuevas ideas y contratar personas.

Por lo tanto, Systran realizó una maniobra fundamentalmente nueva: presentó sus bases en código abierto para que los entusiastas como yo pudieran involucrarse en este trabajo. Crearon un foro donde sus expertos comenzaron a ayudar a los recién llegados de forma gratuita. Y trajo un buen retorno: nuevas empresas, el trabajo científico sobre la traducción comenzó a aparecer, ya que todos podían tomar la base y realizar sus experimentos sobre la base de ella. Systran dirigió esta comunidad. Luego se unieron otras empresas.

En ese momento todavía no había traducción neuronal ubicua, y Open NMT ofreció una base en esta área, superando la calidad de la traducción automática estadística. Yo y otros muchachos de todo el mundo podríamos tomar estas tecnologías y pedir consejo a expertos. Compartieron voluntariamente sus experiencias, y esto me permitió comprender en qué dirección avanzar.

Tomamos OpenNMT como base. Esto sucedió a principios de 2017, cuando todavía era "en bruto" y no contenía nada más que funciones básicas. Todo esto fue en Lua (Antorcha), puramente para investigación académica. Se encontraron muchos errores, todo funcionó lentamente, inestable y se estrelló bajo una carga ligera. No era adecuado para la producción en absoluto. Luego, en un chat general, todos lo probamos juntos, detectamos errores, compartimos ideas y aumentamos gradualmente la estabilidad (entonces éramos aproximadamente 100 personas). Al principio me preguntaba: ¿cómo es eso, por qué Systran hace crecer a sus competidores? Pero con el tiempo, entendí las reglas del juego, cuando más y más compañías comenzaron a establecer sus bases para procesar el lenguaje natural en código abierto.

Incluso si todos tienen el poder informático para manejar grandes conjuntos de datos, la cuestión de encontrar especialistas en PNL (procesamiento del lenguaje natural) es aguda en el mercado. En 2017, este tema estaba mucho menos desarrollado que el procesamiento de imágenes y videos. Menos conjuntos de datos, documentos científicos, especialistas, marcos y más. Incluso hay menos personas capaces de construir un negocio y cerrar cualquiera de los nichos locales de los trabajos de investigación de la PNL. Tanto las compañías de primer nivel como Google como los jugadores más pequeños de Systran necesitan obtener una ventaja competitiva sobre los jugadores de su categoría.

¿Cómo resuelven este problema?

A primera vista, esto parece extraño, pero para competir entre ellos, deciden introducir nuevos jugadores (competidores) en el mercado, y para que aparezcan allí, debes balancearlo. El umbral de entrada sigue siendo alto, y la demanda de tecnologías de procesamiento de voz está creciendo mucho (asistentes de voz, bots de chat, traducciones, reconocimiento y análisis de voz, etc.) La cantidad requerida de startups que puede comprar para fortalecer su posición aún aún no.

En el dominio público se publicaron trabajos científicos de los equipos de Google, Facebook, Alibaba. A partir de ellos, sus marcos y conjuntos de datos se presentan en código abierto. Los foros se crean con respuestas a las preguntas.

Las grandes empresas están interesadas en nuevas empresas como la nuestra desarrollando, capturando nuevos nichos y mostrando el máximo crecimiento. Están felices de comprar nuevas empresas de PNL para fortalecer sus grandes empresas.

De hecho, incluso si tiene todos los conjuntos de datos y algoritmos en sus manos y se lo dicen, esto no significa que vaya a hacer un traductor de alta calidad u otra startup en el campo de la PNL. E incluso si lo hace, entonces está lejos del hecho de que muerde una gran parte del mercado. Por lo tanto, necesita ayuda, y si alguien tiene éxito, compre o fusione.

En marzo de 2018, Systran invitó a toda la comunidad a París para intercambiar experiencias, y también organizó una clase magistral gratuita sobre los principales problemas que enfrentan las startups en traducción. Todos estaban interesados en verse en vivo.

Todos tenían varios proyectos. Alguien creó un bot para aprender inglés, con el que puedes hablar como una persona. Otros usaron openNMT para resumir el texto. Una parte importante de las startups representaba complementos para SDL Trados Studio, adaptados a un tema específico (medicina, construcción, metalurgia, etc.) o un idioma para ayudar a los traductores a ahorrar tiempo en la edición del texto traducido.

Además de los entusiastas, los muchachos de Ebay y Booking llegaron a París, que crean un intérprete en la misma plataforma que nosotros, pero optimizado para traducir las descripciones de las subastas y los hoteles.

También en mayo de 2017, Facebook publicó sus bases para la traducción automática de Fairseq en código abierto junto con modelos capacitados para las pruebas. Pero decidimos permanecer en OpenNMT, observando cómo crece la comunidad.

Historia de DeepL

En septiembre de 2017, analizando a los competidores, descubrí DeepL. Comenzaron en ese momento y proporcionaron traducción en solo 7 idiomas. DeepL se posicionó como una herramienta para traductores profesionales, ayudando a dedicar menos tiempo a la corrección de pruebas después de la traducción automática. Incluso un pequeño cambio en la calidad de la traducción ahorra mucho dinero para las empresas de traducción. Monitorean constantemente la API para la traducción automática de diferentes proveedores, ya que la calidad en muchos pares de idiomas es diferente para todos y no existe un líder único. Aunque la cantidad de idiomas, sobre todo en Google.

Para demostrar la calidad de la traducción, DeepL decidió ejecutar pruebas en algunos idiomas.

techcrunch.com/2017/08/29/deepl-schools-other-online-translators-with-clever-machine-learning

La evaluación de calidad se realizó mediante pruebas ciegas, cuando los traductores profesionales eligen la mejor traducción de Google, Microsoft, DeepL, Facebook. Según los resultados, ganó DeepL, el jurado calificó su traducción como la más "literaria".

¿Como paso?

Fundadores de la propia startup DeepL Linguee: la mayor base de datos de enlaces a textos traducidos. Lo más probable es que tengan una gran cantidad de conjuntos de datos ensamblados por analizadores, y para entrenarlos, necesita más potencia informática.

En 2017, publicaron un artículo declarando que habían ensamblado una supercomputadora 5-petFlops en Islandia (en ese momento era el 23 en términos de rendimiento en el mundo). Formar un modelo de gran calidad era solo cuestión de tiempo. En ese momento, parecía que incluso si compramos conjuntos de datos de alta calidad, aún nunca podremos competir con ellos sin una supercomputadora.

www

. Nvidia lanza una computadora DGX-2 del tamaño de una mesita de noche y un rendimiento de 2 petFlops (FP16), que ahora se puede alquilar desde $ 5,000 / mes.

www.nvidia.com/en-us/data-center/dgx-2

Con una computadora de este tipo, puede entrenar sus modelos con conjuntos de datos gigantes rápidamente, y también mantener una gran carga en la API. Esto cambia drásticamente el equilibrio de poder de todo el mercado de startups de aprendizaje automático y permite a las pequeñas empresas competir con gigantes en el campo de trabajar con grandes datos. Fue la mejor oferta del mercado en una relación precio-rendimiento.

Empecé a buscar información sobre las estadísticas de DeepL. Para 2018, Google tenía 500 millones de usuarios mensuales. DeepL tiene 50 millones (artículo del 12 de diciembre de 2018).

slator.com/ma-and-funding/benchmark-capital-takes-13-6-stake-in-deepl-as-usage-explodes

Resulta que a finales de 2018, el 10% de la audiencia mensual de Google usaba DeepL, y no se anunciaban particularmente en ningún lado. En poco más de un año, capturaron el 10% del mercado utilizando el boca a boca.

He pensado en ello. Si DeepL derrotó a Google con un equipo de 20 personas, con un automóvil en 5 petaFlops en 2017, y ahora puede alquilar un automóvil a bajo costo en 2 petaFlops y comprar conjuntos de datos de alta calidad, ¿qué tan difícil será lograr la calidad de Google?

Panel de control Lingvanex

Para ocuparse rápidamente de las tareas de traducción y no ejecutar pruebas desde la consola, se creó un Tablero que le permitió realizar todas las tareas, desde preparar y filtrar datos hasta implementar pruebas de traducción en Producción. En la imagen a continuación: a la derecha hay una lista de tareas y servidores de GPU en los que se entrena a los modelos. En el centro están los parámetros de la red neuronal, y debajo están los conjuntos de datos que se utilizarán para el entrenamiento.

El trabajo en un nuevo idioma comenzó con la preparación de un conjunto de datos. Los tomamos de fuentes abiertas como Wikipedia, reuniones del Parlamento Europeo, Paracrawl, Tatoeba y otros. Para obtener una calidad de traducción promedio, son suficientes 5 millones de líneas traducidas.

Los conjuntos de datos son líneas de texto traducidas de un idioma a otro. Luego, el tokenizer divide el texto en tokens y crea diccionarios a partir de ellos, ordenados por la frecuencia de la reunión del token. El token puede ser caracteres individuales, sílabas o palabras completas.

Después de cargar los conjuntos de datos en la base de datos, resultaron ser muchas palabras con errores o con una traducción deficiente. Para lograr una buena calidad, deben filtrarse fuertemente. También puede comprar conjuntos de datos filtrados de alta calidad.

Cuando el idioma se implementa en la API, debe establecer una lista de funciones disponibles para él (reconocimiento de voz, síntesis de voz, reconocimiento de imagen, analizador de un archivo, sitio, etc.). Para que las funciones funcionen, utilizan una API de terceros de código abierto, parte de terceros.

Luego, todo se implementa en la API. Con el tiempo, se agregó un caché. Funciona bien en frases de 1 y 2 palabras y puede ahorrar hasta un 30% de las consultas.

Seguimos trabajando

Todo el 2018 lo pasé resolviendo el problema de la traducción de alta calidad en los principales idiomas europeos. Pensé que otros seis meses, y todo saldrá bien. Tenía muy pocos recursos, solo 2 personas estaban involucradas en tareas de Data Science. Era necesario moverse rápido. Parecía que la solución al problema era algo simple. Pero el momento brillante no llegó, no estaba satisfecho con la calidad de la traducción. Ya se gastó alrededor de $ 450 mil ganados en traductores antiguos, y fue necesario tomar una decisión sobre qué hacer a continuación. Al lanzar este proyecto solo y sin inversión, me di cuenta de cuántos errores de administración cometí. Pero la decisión fue tomada: ¡ve al final!

En este momento, noté que en nuestra comunidad comenzaron a hablar sobre una nueva arquitectura para redes neuronales: Transformer. Todos se apresuraron a entrenar redes neuronales basadas en este modelo Transformer y comenzaron a cambiar a Python (Tensorflow) en lugar de la antigua Lua (Torch). Decidí probarlo también.

También tomamos un nuevo tokenizador, preprocesamos el texto, comenzamos a filtrar y marcar los datos de manera diferente, de lo contrario procesamos el texto después de la traducción para corregir los errores. La regla de las 10 mil horas funcionó: el objetivo tenía muchos pasos, y en algún momento me di cuenta de que la calidad de la traducción ya era suficiente para usarlo en la API para mis propias aplicaciones. Cada cambio agrega un 2-4% de calidad, que no fue suficiente para la masa crítica y en la que las personas continúan usando el producto sin abandonar la competencia.

Luego comenzamos a conectar varias herramientas que nos permitieron mejorar aún más la calidad de la traducción: determinante de entidades con nombre, transliteración, diccionarios temáticos, un sistema para corregir errores en las palabras. Después de 5 meses de este trabajo, la calidad de las traducciones en algunos idiomas mejoró mucho y la gente comenzó a quejarse menos. Fue un punto de inflexión. Ya puede vender el programa y, debido al hecho de que tiene su propia API para la traducción, puede reducir considerablemente los costos. Puede aumentar las ventas o la cantidad de usuarios, ya que los costos serán solo en el servidor.

Para entrenar una red neuronal, se necesitaba una buena computadora. Pero nos salvamos. Primero, alquilamos 20 computadoras comunes (con una GTX 1080) y simultáneamente lanzamos 20 pruebas simples en ellas a través del Panel de control de Lingvanex. Tomó una semana para cada prueba, fue mucho tiempo. Para lograr una mejor calidad, tenía que ejecutar con otros parámetros que requerían más recursos. Tomó una nube y más tarjetas de video en una máquina. Decidimos alquilar un servicio en la nube Amazon 8 GPU V100 x 4. Es rápido, pero muy caro. Comenzamos la prueba por la noche y por la mañana, la factura de $ 1200. En ese momento, había muy pocas opciones de alquiler para servidores GPU potentes además de él. Tuve que abandonar esta idea y buscar opciones más baratas. ¿Quizás intentes armar el tuyo?

Las compañías de llamadas terminaron en el hecho de que nosotros mismos tuvimos que enviar una configuración detallada, y la ensamblaron. Lo que es mejor en términos de "rendimiento / precio" para nuestras tareas, nadie podría responder. Intenté ordenar en Moscú, tropecé con una compañía sospechosa. El sitio era de alta calidad, el departamento de ventas estaba en el tema. Pero no aceptaron una transferencia bancaria, y la única opción de pago era arrojar dinero en la tarjeta a su contador. Comenzaron a consultar con el equipo y decidieron que es posible armar una computadora por su cuenta a partir de varias GPU potentes y a un precio de hasta 10 mil dólares, lo que resolverá nuestros problemas y dará sus frutos en un mes. Los componentes literalmente rasparon las tripas: llamaron a Moscú, ordenaron algo en China, algo en Amsterdam. Un mes después, todo estaba listo.

A principios de 2019, finalmente ensamblé esta computadora en casa y comencé a realizar muchas pruebas, sin preocuparme por lo que necesito pagar por el alquiler. En español, comencé a notar que la traducción está cerca de la traducción de Google de la métrica BLEU. Pero no entendí este idioma y establecí el modelo del traductor inglés-ruso para entrenar durante la noche para entender dónde estaba. La computadora zumbó y se frió toda la noche, era imposible dormir. Era necesario asegurarse de que no hubiera errores en la consola, ya que todo se colgaba periódicamente. Por la mañana realicé una prueba para traducir 100 oraciones con longitudes de 1 a 100 palabras y vi que resultó ser una buena traducción, incluso en líneas largas. Esta noche ha cambiado todo. Vi la luz al final del túnel que algún día aún puedes lograr una buena calidad de traducción.

Mejora de la calidad de la aplicación.

Habiendo ganado dinero en un traductor de iOS con un botón y una función, decidí mejorar su calidad, así como crear una versión para Android, Mac OS, Windows Desktop. Esperaba que cuando tenga mi propia API, termine el desarrollo de aplicaciones y entre en otros mercados. Durante el tiempo en que estaba resolviendo el problema de mi API, los competidores fueron mucho más lejos. Se necesitaban algunas funciones, por lo que será mi traductor quien descargará.

Lo primero que decidí hacer fue la traducción de voz para aplicaciones móviles sin acceso a Internet. Este fue un problema personal. Por ejemplo, si va a Alemania, descargue solo el paquete alemán en su teléfono (400 mb) y obtenga una traducción del inglés al alemán y viceversa. De hecho, el problema de Internet en países extranjeros es grave. Wifi no lo está, o está protegido por contraseña o es lento, como resultado, es imposible usarlo. Aunque hay miles de aplicaciones de traducción de alta calidad que funcionan solo a través de Internet utilizando la API de Google, incluso en 2017.

Dado que muchos tuvieron problemas con la versión Lua (Torch) de OpenNMT debido al lenguaje no muy extendido, los fundadores transfirieron la lógica del script translate.lua a la versión C ++ (CTranslate), que se utilizó para experimentos de traducción más convenientes. En la versión Lua, era posible entrenar modelos, en la versión C, para correr. Para mayo de 2017, ya era posible usarlo de alguna manera como base de producción para aplicaciones.

Portamos CTranslate para trabajar para aplicaciones y ponerlo todo en código abierto.

Aquí hay un enlace a este hilo:

github.com/hunter-packages/onmt

Portar CTranslate a diferentes plataformas es solo el primer paso. Era necesario comprender cómo hacer que los modelos fuera de línea de pequeño tamaño y calidad normal funcionen en teléfonos y computadoras. Las primeras versiones de los modelos de traducción ocupaban 2 GB en la RAM del teléfono, lo que no tenía ningún valor.

Encontré muchachos en España con buena experiencia en proyectos de traducción automática. Durante aproximadamente 3 meses, realizamos conjuntamente I + D en el campo de la reducción del tamaño del modelo de neurona para la traducción, con el fin de alcanzar 150 mb por par y luego ejecutarlo en teléfonos móviles.
El tamaño tuvo que reducirse para incluir tantas opciones como fuera posible para traducir palabras de diferentes longitudes y temas a un determinado tamaño de diccionario (por ejemplo, 30 mil palabras).

Más tarde, el resultado de nuestra investigación se hizo público y se presentó en la Asociación Europea de Traducción Automática en Alicante (España) en mayo de 2018, y uno de los miembros del equipo defendió el doctorado.

rua.ua.es/dspace/bitstream/10045/76108/1/EAMT2018-Proceedings_33.pdf?fbclid=IwAR1BxipmZMR8Rt0d32gcJ7BaFt1Tf1UEm9LkJCYytBJLgdtx3ujAPFCwE80

En la conferencia, muchas personas querían comprar un producto, pero hasta ahora solo estaba disponible un par de idiomas (inglés - español). La traducción fuera de línea en las neuronas para teléfonos estaba lista en marzo de 2018, y fue posible hacerlo en todos los demás idiomas hasta el verano. Pero según el contrato, no pude obtener las fuentes y las herramientas utilizadas para hacer esto, para hacer un traductor fuera de línea en otros idiomas. Era necesario leer atentamente el contrato. Solo, no pude reproducir rápidamente los resultados en otros idiomas. Tuve que pausar esta función. Un año después, volví a ella y lo completé.

Además de traducir texto, voz e imágenes, se decidió agregar una traducción de llamadas telefónicas con transcripción que los competidores no tenían. Hubo un cálculo que las personas a menudo solicitan asistencia o por cuestiones comerciales en diferentes países, además, en un teléfono móvil o fijo. El destinatario de la llamada no necesita instalar la aplicación. Esta función requería mucho tiempo y costo, por lo que más tarde se decidió ponerla en una aplicación separada de la principal. Así es como surgió el Traductor de llamadas telefónicas .

Las aplicaciones de traducción tuvieron un problema: no se usan todos los días. No hay muchas situaciones en la vida en las que necesite traducir a diario. Pero si estudias el idioma, el uso de un traductor se vuelve frecuente. Para aprender idiomas, creamos una función de tarjetas, cuando se agregan palabras a los marcadores en el sitio a través de una extensión para el navegador o en subtítulos para la película, y luego el conocimiento se consolida utilizando la aplicación móvil de chat o la aplicación de columna inteligente que verificará las palabras seleccionadas. Todas las aplicaciones Lingvanex están interconectadas por una sola cuenta, por lo que puede comenzar a traducir en una aplicación móvil y continuar en su computadora.

También se agregaron chats de voz con traducción. Esto será útil para grupos de turistas, cuando el guía puede hablar su propio idioma, y cada uno de los visitantes escuchará en la traducción. Y al final, la traducción de archivos grandes en el teléfono o la computadora.

Proyecto Backenster

Durante 7 años recibí 35 millones de descargas sin costos publicitarios y gané más de $ 1 millón. Casi la mitad de ellos son traductores. Estas fueron aplicaciones de prueba para aprender marketing móvil. Debido a la gran cantidad de errores, millones de usuarios iban y venían. Habiendo obtenido la experiencia necesaria, decido crear un pequeño subproyecto interno de Backenster para administrar aplicaciones, publicidad y análisis, a fin de no repetir los errores del pasado en traductores de alta calidad y ganar tanto como sea posible.

A través de este sistema, redirigiré a los usuarios de mis antiguas aplicaciones de traducción a otras nuevas, ya que no hay dinero para comprar tráfico. En otro lugar, quedaban entre 5 y 10 millones de aplicaciones antiguas en los teléfonos. Cuando las aplicaciones están listas, solo queda hacer clic en "Inicio". Costará varias veces más barato que atraer la misma cantidad de usuarios por una tarifa. Gradualmente, se agregó un sistema de administración de pruebas, suscripciones, actualizaciones, configuración, notificaciones, un mediador de publicidad, etc., así como la capacidad de hacer publicidad cruzada de aplicaciones móviles en extensiones de navegador, chatbots, escritorios, asistentes de voz y viceversa. Decidí prever todos los problemas que surgieron durante este tiempo con las aplicaciones.

Perspectiva y estrategia

Al crear una API para sus aplicaciones e invertir una gran cantidad de dinero, debe comprender el volumen y las perspectivas del mercado de traducción automática. En 2017, se pronosticó que el mercado se convertirá en $ 1.5 mil millones para 2023, aunque el volumen de mercado para todas las transferencias será de $ 70 mil millones (para 2023).

¿Por qué tal carrera, unas 50 veces?

Digamos que el mejor traductor automático ahora traduce bien el 80% del texto. El 20% restante debe ser editado por una persona. Los mayores costos de traducción son la corrección de pruebas, es decir, los salarios de las personas.

Un aumento en la calidad de la traducción incluso en un 1% (hasta un 81% en nuestro ejemplo) puede reducir en sentido figurado el costo de la corrección de textos en un 1%. El 1% de la diferencia entre el mercado de todas las transferencias menos la máquina será (70 - 1.5 = $ 68.5 mil millones) o $ 685 millones ya. Los números y los cálculos anteriores se dan aproximadamente para transmitir la esencia.

Es decir, una mejora de la calidad de incluso el 1% puede ahorrar significativamente a las grandes empresas en servicios de traducción. A medida que se desarrolle la calidad de la traducción automática, cada vez más reemplazará el mercado de la traducción manual y ahorrará costos salariales. No es necesario tratar de abarcar todos los idiomas, puede elegir un par popular (inglés-español) y una de las áreas (medicina, metalurgia, petroquímica, etc.). 100% de calidad, la traducción automática perfecta en todos los temas, inalcanzable en el futuro cercano. Y cada porcentaje posterior de mejora de la calidad será más difícil.

Sin embargo, esto no impide que el mercado de traducción automática ocupe una parte significativa del mercado total para 2023 (por analogía con DeepL, capturó imperceptiblemente el 10% del mercado de Google), ya que las grandes empresas prueban varias API de traductor todos los días. Y mejorar la calidad de uno de ellos en un porcentaje (para cualquier idioma) les permitirá ahorrar muchos millones de dólares.
La estrategia de las grandes empresas para crear su propio tiempo de operación openouce ha comenzado a dar sus frutos. Hay más nuevas empresas, artículos científicos y personas en la industria, lo que nos permitió sacudir el mercado y lograr una mejor calidad de traducción, aumentando nuestro pronóstico para el mercado de traducción automática.

Cada año, se llevan a cabo concursos de tareas de PNL, donde compiten empresas, nuevas empresas y universidades que tendrán una mejor traducción en ciertos pares de idiomas.

http://statmt.org/wmt18/

Al analizar la lista de ganadores, hay confianza en que los recursos pequeños pueden lograr excelentes resultados.

Apertura de la empresa

Durante varios años, el proyecto ha crecido muchas veces. Las aplicaciones han aparecido no solo para plataformas móviles, sino también para computadoras, dispositivos portátiles, mensajería instantánea, navegadores, asistentes de voz. Además de traducir el texto, se creó una traducción de voz, imágenes, archivos, sitios y llamadas telefónicas. Inicialmente, planeaba hacer que mi API de traducción se usara solo para mis aplicaciones. Pero luego decidí ofrecerlo a todos. Los competidores se adelantaron y fue necesario mantenerse al día.

Hasta ese momento, manejé todo solo como empresario individual, contratando personas para subcontratar. Pero la complejidad del producto y la cantidad de tareas comenzaron a crecer rápidamente, y se hizo evidente que necesita delegar funciones y contratar rápidamente personas para su propio equipo en su oficina. Llamé a un amigo, renunció a su trabajo y decidió abrir Lingvanex en marzo de 2019.

Hasta ese momento, estaba creando un proyecto sin publicidad en ningún lado, y cuando decidí reunir a mi equipo, me encontré con un problema de búsqueda. Nadie creía que esto se pudiera hacer, y no entendía por qué. Tuve que entrevistar a muchas personas y cada una habló durante 3 horas sobre miles de detalles no obvios. Cuando salió el primer artículo sobre el proyecto, se hizo más fácil. Siempre me hicieron una pregunta:

la primera pregunta siempre suena "¿Qué eres mejor que Google?"

Por el momento, nuestro objetivo es lograr la calidad de la traducción de Google de un tema común en los principales idiomas europeos y asiáticos y luego proporcionar soluciones para:

1) La traducción de texto y sitios a través de nuestra API es tres veces más barata que la competencia, proporcionando un excelente servicio de soporte y una fácil integración. Por ejemplo, el costo de la traducción de Google es de $ 20 por millón de caracteres, lo cual es muy costoso para una cantidad significativa de

2) Traducción temática de alta calidad de documentos sobre ciertos temas (medicina, metalurgia, derecho, etc.) por API, incluida la integración en herramientas profesionales traductores (como SDL Trados)

3) Integración en los procesos comerciales de las empresas para ejecutar modelos de traducción en sus servidores bajo nuestra licencia. Esto le permite mantener la confidencialidad de los datos, no depender del volumen del texto traducido y optimizar la traducción para los detalles de una empresa en particular.

Puede mejorar la calidad de la traducción de la competencia para pares de idiomas o temas específicos. Tu puedes hacer cualquier cosa. Esta es una cuestión de recursos de la empresa. Con suficiente inversión, no hay problema. Qué y cómo hacer: se sabe que solo necesita manos y dinero.

De hecho, el mercado de PNL está creciendo muy rápidamente a medida que el reconocimiento, el análisis de voz y la traducción automática mejoran, y pueden generar buenas ganancias para un equipo pequeño. Todo el bombo aquí comenzará en 2-3 años, cuando la promoción del mercado actual por parte de grandes compañías dará sus frutos. Comenzará una serie de fusiones / adquisiciones. Lo principal en este momento es tener un buen producto con una audiencia que pueda vender.

Total

Durante todo el tiempo, las aplicaciones de prueba han aportado más de $ 1 millón, de los cuales la mayoría se gastaron en hacer su propio traductor. Ahora es obvio que todo podría hacerse mucho más barato y mejor. Se cometieron muchos errores de gestión, pero esta es la experiencia, y luego no había nadie con quien consultar. El artículo describe una parte muy pequeña de esta historia, y a veces puede no estar claro por qué se tomaron ciertas decisiones. Haz preguntas en los comentarios.

Por el momento, no hemos logrado la calidad de la traducción de Google, pero no veo ningún problema si el equipo cuenta con al menos varios especialistas en procesamiento de lenguaje natural.
Ahora nuestro traductor funciona mejor del inglés al alemán, español y francés.

Enlaces a nuevos programas que se han desarrollado durante 3 años y en los que se invirtió dinero. Si alguien quiere ver las viejas aplicaciones de prueba que se discutieron al comienzo del artículo (donde se ganó dinero y 35 millones de saltos), escriba un mensaje personal.

Traductor para iOS

Traductor para Android

Traductor para Mac OS

Traductor para Windows

Traductor para Chrome

Traductor para Telegram

Este enlace se puede encontrar

Demostración API de traducción

El equipo también necesita un gerente de producto (aplicaciones móviles) y un programador de Python con experiencia en proyectos de PNL.

Si tiene ideas para asociaciones y ofertas conjuntas, escriba en un correo electrónico personal, agregue a Facebook, LinkedIn.

Cómo gané $ 1,000,000 sin experiencia y conexiones, y luego los gasté para hacer mi traductor