🌘 🛡️ 💻 Wie ich ohne Erfahrung und Verbindungen 1.000.000 USD verdient und sie dann ausgegeben habe, um meinen Übersetzer zu machen 🙋🏼 🧑🏻‍🤝‍🧑🏻 😃

Wie alles begann

Diese Geschichte begann vor 15 Jahren. Während meiner Arbeit als Programmierer in der Hauptstadt sammelte ich Geld und kündigte meinen Job, um später meine eigenen Projekte zu erstellen. Um Geld zu sparen, ging er nach Hause in eine kleine Heimatstadt, wo er an einer Website für Studenten, einem Handelsprogramm und Spielen für Mobiltelefone arbeitete. Aufgrund mangelnder Geschäftserfahrung wurden jedoch keine Einnahmen erzielt, und die Projekte wurden bald abgeschlossen. Ich musste wieder in die Hauptstadt und einen Job bekommen. Diese Geschichte wiederholte sich mehrmals.

Als mein Geld wieder knapp wurde, kam die Krise. Ich konnte keinen Job finden, die Situation wurde kritisch. Es ist an der Zeit, alle Dinge nüchtern zu betrachten. Ich musste mir ehrlich eingestehen, dass ich nicht weiß, welche Nischen ich für das Geschäft wählen soll. Das Erstellen von Projekten, die Ihnen gerade gefallen, ist der Weg ins Nirgendwo.

Ich konnte nur iOS-Apps verwenden. Durch die mehrjährige Arbeit in IT-Unternehmen konnte ich einige Erfahrungen sammeln, und es wurde beschlossen, viele einfache, grundlegend unterschiedliche Anwendungen (Spiele, Musik, Zeichnen, gesunder Lebensstil, Sprachenlernen) zu erstellen und zu testen, in welchen Nischen es wenig Wettbewerb geben wird. Es wurde eine Reihe von Klassen und Bibliotheken vorbereitet, die es ermöglichten, schnell einfache Anwendungen zu verschiedenen Themen (2D-Spiele, GPS-Tracker, einfache Dienstprogramme usw.) zu erstellen. Die meisten von ihnen hatten mehrere Bilder, 2 Tasten und nur eine Funktion. Aber das war genug, um die Idee zu testen und wie einfach es sein würde, damit Geld zu verdienen. Eine laufende App verfolgte beispielsweise die Geschwindigkeit, die zurückgelegte Strecke und die gezählten Kalorien einer Person. Ich habe anderthalb Jahre damit verbracht, Hunderte einfacher Anwendungen zu erstellen.Diese Geschwindigkeit wurde durch den Kauf von Grafiken auf Lager sowie die Wiederverwendung von Quellcodes ermöglicht.

Die Bewerbungen waren zunächst kostenlos. Dann fügte ich Anzeigen und In-App-Käufe hinzu, nahm Keywords und helle Symbole auf. Anwendungen wurden heruntergeladen.

Als das Einkommen 30.000 US-Dollar pro Monat erreichte, beschloss ich, einem Freund, der bei einem großen Lebensmittelunternehmen arbeitete, mitzuteilen, dass ich bei Testanwendungen eine solche Zahl erreichen konnte, und schlug vor, sie gemeinsam zu erstellen. Er antwortete, dass sie nur eine Anwendung haben - ein Spiel mit einem Einkommen von 60.000 und 25.000 Nutzern pro Monat, gegenüber 30.000 Dollar Umsatz und 200.000 Nutzern von mir. Es hat meine Ansichten völlig verändert. Es stellte sich heraus, dass es besser war, eine qualitativ hochwertige Anwendung zu erstellen als hundert qualitativ minderwertige

Ich habe verstanden, dass man mit hochwertigen zehnmal mehr verdienen kann, aber ich war allein in einer kleinen Stadt ohne die Erfahrung und das Team von Designern und Vermarktern. Ich musste für die Anmietung einer Wohnung bezahlen und meinen Lebensunterhalt verdienen. Testanwendungen wurden lediglich benötigt, um Marktnischen und Werbestrategien zu testen und zu erfahren, welche Anwendungen und wie sie erstellt werden. Es kam einfach vor, dass einige von ihnen anfingen, ein gutes Einkommen zu bringen. Jetzt ist das Thema der einfachen Anwendungen längst vorbei und es gibt nicht mehr viel Geld zu verdienen.

Einige Anwendungen unterschieden sich stark im Gewinn - dies waren Übersetzer, Anwendungen für den Güterverkehr, Musikprogramme (die das Spielen von Klavier, Schlagzeug oder beispielsweise Gitarrenakkorden, Spielern simulieren) sowie einfache Logikspiele.

Beim Testen verschiedener Arten von Spielen wurde mir klar, dass Spiele mit einer langen Sitzungsdauer und Benutzerbeteiligung (wie „2048“) über einen langen Zeitraum viel Geld einbringen können. Aber zuerst war es nicht offensichtlich. Deshalb habe ich Test-Ups wie GPS-Tracker für Skifahrer erstellt und in die Schlüsselwörter den Namen beliebter Skigebiete wie Courchevel eingetragen. Und dann war er froh, dass ein Klick auf Werbung 2 Dollar einbrachte. Aber es war eine kurzfristige, nicht skalierbare Strategie.

Dann bemerkte ich, dass Übersetzer in nur einem Monat mehr als 1 Million Mal heruntergeladen haben. Und das trotz der Tatsache, dass sie in der Rangliste der Kategorie ungefähr auf dem 100. Platz lagen.

Musikanwendungen brachten ebenso viele Sprünge, aber angesichts der Beteiligung der Benutzer waren sie weniger vielversprechend. Benutzer für sie müssen von hochfrequenten Schlüsselwörtern angezogen werden, und es gibt nicht viele von ihnen in dieser Nische: Wer nach Anwendungen für die Gitarre sucht, gibt bei der Suche "Gitarre", "Bassgitarre", "Akkorde" usw. ein. Es ist schwierig, viele Synonyme für solche Themen zu finden. Daher konzentrieren sich Benutzer auf Hochfrequenzanfragen, und früher oder später wird ihre Beteiligung teuer sein. Übersetzer sind anders.

Es gibt Hunderte von Sprachen auf der Welt, und Menschen geben eine Abfrage nicht nur mit dem allgemeinen Wort „Übersetzer“ ein, sondern auch mit einigen Wörtern als Lösung für ihr Problem: „ins Französische übersetzen“, „Übersetzer aus dem Chinesischen“. Wenn es viele Anfragen gibt, können Sie Benutzer einfach über mittelfrequente Schlüsselwörter (ASO) anziehen. Die Nische erwies sich als vielversprechend, zumal mir das Thema Übersetzungen gefallen hat.

Später wurden mit der von der Google-API bereitgestellten Übersetzung etwa 40 einfache Übersetzer erstellt. Die Kosten betrugen 20 USD pro 1 Million übersetzte Zeichen. Allmählich erschienen verbesserte Versionen von Anwendungen, in denen ich Anzeigen, In-App-Käufe und Sprachübersetzungen hinzufügte.

Nachdem ich Geld verdient hatte, zog ich nach Minsk und kaufte ein Haus. Zu dieser Zeit hatte ich 50 bis 70 Übersetzungsanwendungen und 5 Millionen Downloads. Mit dem Wachstum der Nutzer stiegen jedoch die Kosten für die kostenpflichtige Google Translate-API. Die Rentabilität des Geschäfts hat stark abgenommen. Zahlende Benutzer übersetzten Blöcke mit jeweils 1.000 Zeichen, was die Einführung von Beschränkungen für die Anforderung erzwang. Als sie sich auf das Übersetzungslimit ausruhten, schrieben sie schlechte Bewertungen und gaben das Geld zurück. Es ist an der Zeit, dass 70% des Erlöses für Ausgaben verwendet wurden. Mit großen Übersetzungsvolumina war dieses Geschäft nicht so vielversprechend. Um die Kosten wieder hereinzuholen, musste den Anwendungen viel Werbung hinzugefügt werden, was die Benutzer immer abschreckt. Es musste eine eigene API für die Übersetzung erstellt werden, was höchstwahrscheinlich nicht billig wäre.

Ich habe versucht, Startups und die IT-Community um Rat und Investitionen zu bitten, fand aber keine Unterstützung. Die meisten Menschen verstanden nicht, warum sie in einem Markt arbeiten sollten, in dem es bereits einen Marktführer gibt - den Google-Übersetzer.

Neben Google gab es mehrere Unternehmen, die eine API für die Übersetzung bereitstellten. Ich war bereit, 30.000 US-Dollar für ihre Lizenzen für Übersetzungstechnologien in 40 Sprachen zu zahlen. Dies würde es mir ermöglichen, eine unbegrenzte Anzahl von Malen zu einem festen Preis zu übersetzen und eine beliebige Anzahl von Benutzern auf meinen Servern zu bedienen. Aber als Antwort nannten sie mich den Betrag um ein Vielfaches höher. Es war zu teuer. Es wurde beschlossen, eine eigene Technologie für die Übersetzung zu entwickeln. Ich habe versucht, Freunde für die Entwicklung zu gewinnen, aber zu diesem Zeitpunkt hatten die meisten bereits Familien, kleine Kinder und Kredite. Jeder wollte Stabilität und Leben zu seinem Vergnügen für ein gutes Gehalt und nicht zu einem Startup gehen. Sie haben auch nicht verstanden, warum sie einen Übersetzer erstellen, wenn es Google mit einer coolen, hoch entwickelten Übersetzungsanwendung und API gibt. Ich hatte keine Erfahrung mit öffentlichen Reden.Charisma und coole Prototypanwendungen, um Menschen zu interessieren. Eine Ergebnisanalyse von 300.000 US-Dollar für Testübersetzungsanwendungen überraschte niemanden.

Ich wandte mich an einen Freund, der eine Outsourcing-Firma in Minsk besitzt. Ende 2016 hat er mir ein Team zugewiesen. Ich hatte erwartet, dass ich das Problem in sechs Monaten auf der Grundlage von Open-Source-Projekten lösen würde, um nicht von der API bei Google abhängig zu sein.

Auf dem Weg zu meinem Übersetzer

Die Arbeit hat begonnen. Im Jahr 2016 haben wir mehrere OpenSource-Projekte gefunden - Apertium, Joshua und Moses. Es war eine statistische maschinelle Übersetzung, die für einfache Texte geeignet war. Diese Projekte wurden von 3 bis 40 Personen unterstützt, und es dauerte lange, bis eine Antwort auf eine Frage zu ihnen gefunden wurde. Nachdem wir es herausgefunden und sie dennoch für Tests ausgeführt hatten, wurde klar, dass wir leistungsstarke Server und hochwertige Datensätze benötigen, die teuer sind. Selbst nachdem wir Geld für Hardware und einen Qualitätsdatensatz für eines der Übersetzungspaare ausgegeben hatten, ließ die Qualität zu wünschen übrig.

Technisch gesehen ging es nicht um das Schema "Datensatz herunterladen und trainieren". Es stellte sich heraus, dass es eine Million Nuancen gibt, die uns nicht einmal bewusst waren. Wir haben ein paar weitere Ressourcen ausprobiert, aber keine guten Ergebnisse erzielt. Google und Microsoft geben ihre Erfolge jedoch nicht bekannt. Trotzdem wurde die Arbeit fortgesetzt, Freiberufler regelmäßig verbunden.

Im März 2017 stießen wir auf ein Projekt namens Open NMT. Dies ist eine gemeinsame Entwicklung von Systran, einem der führenden Unternehmen auf dem Markt für maschinelle Übersetzung, und der Harvard University. Das Projekt wurde gerade gestartet und bot bereits Übersetzungen auf der Basis einer neuen Technologie an - neuronale Netze.

Moderne maschinelle Übersetzungstechnologien gehören großen Unternehmen, sie sind geschlossen. Kleine Spieler, die erkennen, wie schwierig es ist, diese Welt zu infiltrieren, machen solche Versuche nicht. Dies behindert die Marktentwicklung. Die Qualität der Übersetzung unter den Leitern unterschied sich lange Zeit nicht wesentlich voneinander. Offensichtlich waren große Unternehmen auch mit einem Mangel an Enthusiasten, wissenschaftlichen Artikeln, Startups und OpenSource-Projekten konfrontiert, um neue Ideen aufzunehmen und Mitarbeiter einzustellen.

Aus diesem Grund hat Systran ein grundlegend neues Manöver durchgeführt: Es hat seine Grundlagen in Open Source gelegt, damit Enthusiasten wie ich sich an dieser Arbeit beteiligen können. Sie gründeten ein Forum, in dem ihre Experten anfingen, Neuankömmlingen kostenlos zu helfen. Und es brachte eine gute Rendite: Start-ups, wissenschaftliche Übersetzungsarbeiten begannen zu erscheinen, da jeder die Grundlage nehmen und seine Experimente auf dieser Grundlage durchführen konnte. Systran leitete diese Gemeinschaft. Dann schlossen sich andere Unternehmen an.

Zu dieser Zeit gab es noch keine allgegenwärtige neuronale Übersetzung, und Open NMT bot Grundlagen in diesem Bereich und übertraf die Qualität der statistischen maschinellen Übersetzung. Ich und andere Leute auf der ganzen Welt könnten diese Technologien nutzen und Experten um Rat fragen. Sie teilten bereitwillig ihre Erfahrungen mit, und so konnte ich verstehen, in welche Richtung ich mich bewegen sollte.

Wir haben OpenNMT als Basis genommen. Dies geschah Anfang 2017, als es noch „roh“ war und nichts anderes als Grundfunktionen enthielt. All dies war auf Lua (Fackel), rein für akademische Forschung. Es wurden viele Fehler gefunden, alles funktionierte langsam, instabil und stürzte unter leichter Last ab. Es war überhaupt nicht für die Produktion geeignet. Dann haben wir alle in einem allgemeinen Chat gemeinsam getestet, Fehler aufgefangen, Ideen ausgetauscht und die Stabilität schrittweise erhöht (damals waren wir ungefähr 100 Personen). Zuerst habe ich mich gefragt: Wie, warum wächst Systran seine Konkurrenten? Aber im Laufe der Zeit verstand ich die Spielregeln, als immer mehr Unternehmen begannen, ihre Grundlagen für die Verarbeitung natürlicher Sprache in Open Source zu schaffen.

Selbst wenn jeder über die Rechenleistung verfügt, um große Datenmengen zu verarbeiten, ist die Frage, Spezialisten für NLP (Natural Language Processing) zu finden, auf dem Markt akut. 2017 war dieses Thema viel weniger entwickelt als die Bild- und Videoverarbeitung. Weniger Datensätze, wissenschaftliche Arbeiten, Spezialisten, Frameworks und mehr. Es gibt noch weniger Menschen, die in der Lage sind, ein Geschäft aufzubauen und eine der lokalen Nischen aus NLP-Forschungsberichten zu schließen. Sowohl Top-Unternehmen wie Google als auch kleinere Systran-Spieler müssen sich einen Wettbewerbsvorteil gegenüber Spielern in ihrer Kategorie verschaffen.

Wie lösen sie dieses Problem?

Auf den ersten Blick scheint dies seltsam, aber um miteinander zu konkurrieren, beschließen sie, neue Spieler (Konkurrenten) auf den Markt zu bringen, und um dort zu erscheinen, müssen Sie es schwingen. Die Einstiegsschwelle ist immer noch hoch und die Nachfrage nach Sprachverarbeitungstechnologien wächst stark (Sprachassistenten, Chat-Bots, Übersetzungen, Spracherkennung und -analyse usw.). Die erforderliche Anzahl von Startups, die Sie kaufen können, um Ihre Position zu stärken, ist immer noch hoch noch nicht.

In der Öffentlichkeit veröffentlichte wissenschaftliche Arbeiten von den Teams von Google, Facebook, Alibaba. Von ihnen werden ihre Frameworks und Datensätze in OpenSource angelegt. Foren werden mit Antworten auf Fragen erstellt.

Große Unternehmen sind daran interessiert, dass sich Startups wie unsere entwickeln, neue Nischen erobern und maximales Wachstum zeigen. Sie kaufen gerne NLP-Startups, um ihre großen Unternehmen zu stärken.

Selbst wenn Sie alle Datensätze und Algorithmen in Ihren Händen haben und diese Ihnen mitteilen, bedeutet dies nicht, dass Sie einen qualitativ hochwertigen Übersetzer oder ein anderes Startup im Bereich NLP erstellen. Und selbst wenn Sie dies tun, ist es weit davon entfernt, dass Sie ein großes Stück des Marktes abbeißen. Daher benötigen Sie Hilfe, und wenn jemand erfolgreich ist, kaufen oder fusionieren Sie.

Im März 2018 lud Systran die gesamte Community nach Paris ein, um Erfahrungen auszutauschen, und veranstaltete eine kostenlose Meisterklasse zu den Hauptproblemen, mit denen Startups in der Übersetzung konfrontiert sind. Alle waren daran interessiert, sich live zu sehen.

Jeder hatte verschiedene Projekte. Jemand hat einen Bot zum Englischlernen erstellt, mit dem Sie wie eine Person sprechen können. Andere verwendeten openNMT, um Text zusammenzufassen. Ein erheblicher Teil der Startups stellte Plugins für SDL Trados Studio dar, die auf ein bestimmtes Thema (Medizin, Bauwesen, Metallurgie usw.) oder eine bestimmte Sprache zugeschnitten sind, um Übersetzern Zeit beim Bearbeiten des übersetzten Textes zu sparen.

Neben Enthusiasten kamen die Jungs von Ebay und Booking nach Paris, die auf derselben Plattform wie wir einen Dolmetscher erstellen, der jedoch für die Übersetzung von Auktions- und Hotelbeschreibungen optimiert ist.

Ebenfalls im Mai 2017 veröffentlichte Facebook seine Grundlagen für die maschinelle Übersetzung von Fairseq in Open Source zusammen mit geschulten Testmodellen. Aber wir haben uns entschlossen, bei OpenNMT zu bleiben und zu beobachten, wie die Community wächst.

Geschichte von DeepL

Im September 2017 erfuhr ich bei der Analyse von Wettbewerbern von DeepL. Sie haben gerade erst angefangen und Übersetzungen in nur 7 Sprachen geliefert. DeepL wurde als Tool für professionelle Übersetzer positioniert, um weniger Zeit für das Korrekturlesen nach maschineller Übersetzung aufzuwenden. Selbst eine kleine Änderung der Übersetzungsqualität spart Übersetzungsunternehmen viel Geld. Sie überwachen ständig die API für maschinelle Übersetzung von verschiedenen Anbietern, da die Qualität in vielen Sprachpaaren für jeden unterschiedlich ist und es keinen einzigen Marktführer gibt. Obwohl die Anzahl der Sprachen - vor allem bei Google.

Um die Qualität der Übersetzung zu demonstrieren, hat DeepL beschlossen, Tests in einigen Sprachen durchzuführen.

techcrunch.com/2017/08/29/deepl-schools-other-online-translators-with-clever-machine-learning

Die Qualitätsbewertung wurde durch Blindtests durchgeführt, bei denen professionelle Übersetzer die beste Übersetzung von Google, Microsoft, DeepL und Facebook auswählten. Laut den Ergebnissen, die DeepL gewonnen hat, bewertete die Jury ihre Übersetzung als die „literarischste“.

Wie ist es passiert?

Gründer des DeepL-eigenen Startups Linguee - der größten Datenbank mit Links zu übersetzten Texten. Höchstwahrscheinlich verfügen sie über eine große Anzahl von Datensätzen, die von Parsern zusammengestellt wurden. Um sie zu trainieren, benötigen Sie mehr Rechenleistung.

2017 veröffentlichten sie einen Artikel, der besagte, dass sie in Island einen 5-petFlops-Supercomputer zusammengebaut hatten (zu diesem Zeitpunkt war es der 23. in Bezug auf die Leistung in der Welt). Ein großes Qualitätsmodell zu trainieren war nur eine Frage der Zeit. In diesem Moment schien es, dass wir selbst mit dem Kauf hochwertiger Datensätze ohne einen solchen Supercomputer niemals mit ihnen konkurrieren können.

www

. Nvidia bringt einen DGX-2-Computer in der Größe eines Nachttisches und einer Leistung von 2 petFlops (FP16) auf den Markt, der jetzt ab 5.000 USD / Monat geleast werden kann.

www.nvidia.com/en-us/data-center/dgx-2

Mit einem solchen Computer können Sie Ihre Modelle schnell mit riesigen Datensätzen trainieren und gleichzeitig die API stark belasten. Dies verändert das Kräfteverhältnis des gesamten Startup-Marktes für maschinelles Lernen dramatisch und ermöglicht es kleinen Unternehmen, mit Giganten im Bereich der Arbeit mit Big Data zu konkurrieren. Es war das beste Angebot auf dem Markt in einem Preis-Leistungsverhältnis.

Ich suchte nach Informationen zu DeepL-Statistiken. Für das Jahr 2018 hatte Google monatlich 500 Millionen Nutzer. DeepL hat 50 Millionen (Artikel vom 12. Dezember 2018).

slator.com/ma-and-funding/benchmark-capital-takes-13-6-stake-in-deepl-as-usage-explodes

Es stellte sich heraus, dass Ende 2018 10% der monatlichen Google-Zielgruppe DeepL nutzten und nirgendwo besonders beworben wurden. In etwas mehr als einem Jahr eroberten sie 10% des Marktes mit Mundpropaganda.

Ich habe darüber nachgedacht. Wenn DeepL Google mit einem Team von 20 Personen besiegt hat und 2017 ein Auto in 5 PetaFlops hat und Sie jetzt in 2 PetaFlops günstig ein Auto mieten und hochwertige Datensätze kaufen können, wie schwierig wird es sein, Google-Qualität zu erreichen?

Lingvanex-Bedienfeld

Um Übersetzungsaufgaben schnell zu erledigen und keine Tests über die Konsole auszuführen, wurde ein Dashboard erstellt, mit dem Sie alle Aufgaben ausführen können, von der Vorbereitung und Filterung von Daten bis zur Bereitstellung von Übersetzungstests für die Produktion. Im Bild unten: Auf der rechten Seite finden Sie eine Liste der Aufgaben und GPU-Server, auf denen Modelle trainiert werden. In der Mitte befinden sich die Parameter des neuronalen Netzwerks und unten die Datensätze, die für das Training verwendet werden.

Die Arbeit an einer neuen Sprache begann mit der Erstellung eines Datensatzes. Wir haben sie aus offenen Quellen wie Wikipedia, Sitzungen des Europäischen Parlaments, Paracrawl, Tatoeba und anderen entnommen. Um eine durchschnittliche Übersetzungsqualität zu erzielen, reichen 5 Millionen übersetzte Zeilen aus.

Datensätze sind Textzeilen, die von einer Sprache in eine andere übersetzt wurden. Anschließend teilt der Tokenizer den Text in Token auf und erstellt daraus Wörterbücher, sortiert nach der Häufigkeit der Token-Besprechung. Das Token kann entweder aus einzelnen Zeichen, Silben oder ganzen Wörtern bestehen.

Nachdem die Datensätze in die Datenbank geladen wurden, stellte sich heraus, dass es sich um viele fehlerhafte oder schlecht übersetzte Wörter handelte. Um eine gute Qualität zu erzielen, müssen sie stark gefiltert werden. Sie können auch bereits hochwertige gefilterte Datensätze kaufen.

Wenn die Sprache für die API bereitgestellt wird, müssen Sie eine Liste der verfügbaren Funktionen festlegen (Spracherkennung, Sprachsynthese, Bilderkennung, Parser einer Datei, Site usw.). Damit die Funktionen funktionieren, verwenden sie einen Drittanbieter-API-Teil opensource - einen Teil von Drittanbietern.

Dann wird alles auf der API bereitgestellt. Im Laufe der Zeit wurde ein Cache hinzugefügt. Es funktioniert gut mit Phrasen mit 1 und 2 Wörtern und kann bis zu 30% der Anfragen speichern.

Wir arbeiten weiter

Das ganze Jahr 2018 habe ich damit verbracht, das Problem der qualitativ hochwertigen Übersetzung in den wichtigsten europäischen Sprachen zu lösen. Ich dachte, dass noch sechs Monate - und alles wird klappen. Ich hatte nur sehr begrenzte Ressourcen, nur 2 Personen waren an Data Science-Aufgaben beteiligt. Es war notwendig, sich schnell zu bewegen. Es schien, dass die Lösung des Problems etwas Einfaches war. Aber der helle Moment kam nicht, ich war mit der Qualität der Übersetzung nicht zufrieden. Es wurden bereits etwa 450.000 US-Dollar für alte Übersetzer ausgegeben, und es war notwendig, eine Entscheidung darüber zu treffen, was als nächstes zu tun ist. Als ich dieses Projekt alleine und ohne Investition startete, wurde mir klar, wie viele Managementfehler ich gemacht habe. Aber die Entscheidung wurde getroffen - bis zum Ende!

Zu diesem Zeitpunkt bemerkte ich, dass in unserer Gemeinde über eine neue Architektur für neuronale Netze gesprochen wurde - Transformer. Alle beeilten sich, neuronale Netze basierend auf diesem Transformer-Modell zu trainieren, und wechselten zu Python (Tensorflow) anstelle der alten Lua (Torch). Ich beschloss, es auch zu versuchen.

Wir haben auch einen neuen Tokenizer verwendet, den Text vorverarbeitet, die Daten anders gefiltert und markiert, andernfalls den Text nach der Übersetzung verarbeitet, um Fehler zu korrigieren. Die Regel von zehntausend Arbeitsstunden: Es gab viele Schritte zum Ziel, und irgendwann wurde mir klar, dass die Übersetzungsqualität bereits ausreichte, um sie in der API für meine eigenen Anwendungen zu verwenden. Mit jeder Änderung wurden 2 bis 4% der Qualität hinzugefügt, was für die kritische Masse nicht ausreichte und bei der die Menschen das Produkt weiterhin verwenden, ohne die Konkurrenz zu verlassen.

Dann haben wir verschiedene Tools miteinander verbunden, mit denen wir die Qualität der Übersetzung weiter verbessern konnten: Determinante benannter Entitäten, Transliteration, thematische Wörterbücher, ein System zur Korrektur von Wortfehlern. Nach 5 Monaten dieser Arbeit wurde die Qualität der Übersetzungen in einigen Sprachen viel besser und die Leute begannen sich weniger zu beschweren. Es war ein Wendepunkt. Sie können das Programm bereits verkaufen und aufgrund der Tatsache, dass Sie über eine eigene API für die Übersetzung verfügen, können Sie die Kosten erheblich senken. Sie können den Umsatz oder die Anzahl der Benutzer erhöhen, da die Kosten nur auf dem Server anfallen.

Um ein neuronales Netzwerk zu trainieren, wurde ein guter Computer benötigt. Aber wir haben gespart. Zuerst mieteten wir 20 normale Computer (mit einer GTX 1080) und starteten gleichzeitig 20 einfache Tests über das Lingvanex Control Panel. Es dauerte eine Woche für jeden Test, es war eine lange Zeit. Um eine bessere Qualität zu erzielen, mussten Sie mit anderen Parametern arbeiten, die mehr Ressourcen benötigten. Es brauchte eine Wolke und mehr Grafikkarten auf einem Computer. Wir haben uns entschieden, einen Cloud-Dienst Amazon 8 GPU V100 x 4 zu mieten. Er ist schnell, aber sehr teuer. Wir haben den Test nachts und morgens begonnen - die Rechnung über 1200 Dollar. Zu dieser Zeit gab es nur sehr wenige Mietoptionen für leistungsstarke GPU-Server. Ich musste diese Idee aufgeben und nach günstigeren Optionen suchen. Vielleicht versuchen Sie, Ihre eigenen zusammenzustellen?

Das Anrufen von Unternehmen endete damit, dass wir selbst eine detaillierte Konfiguration senden mussten und diese zusammenstellen würden. Was in Bezug auf „Leistung / Preis“ für unsere Aufgaben besser ist, konnte niemand beantworten. Versucht in Moskau zu bestellen - stieß auf eine verdächtige Firma. Die Seite war von hoher Qualität, die Verkaufsabteilung war im Thema. Sie akzeptierten jedoch keine Überweisung, und die einzige Zahlungsmöglichkeit bestand darin, ihrem Buchhalter Geld auf die Karte zu werfen. Sie begannen, sich mit dem Team zu beraten, und entschieden, dass es möglich ist, einen Computer selbst aus mehreren leistungsstarken GPUs zu einem Preis von bis zu 10.000 US-Dollar zusammenzubauen, was unsere Probleme lösen und sich in einem Monat auszahlen wird. Komponenten kratzten buchstäblich durch den Bauch: Sie riefen nach Moskau, bestellten etwas in China, etwas in Amsterdam. Einen Monat später war alles fertig.

Anfang 2019 habe ich diesen Computer endlich zu Hause zusammengebaut und viele Tests durchgeführt, ohne mir Gedanken darüber zu machen, was ich für die Miete bezahlen muss. Auf Spanisch bemerkte ich, dass die Übersetzung der Google-Übersetzung der BLEU-Metrik nahe kommt. Aber ich verstand diese Sprache nicht und stellte das Modell des englisch-russischen Übersetzers so ein, dass es für die Nacht trainiert, um zu verstehen, wo ich war. Der Computer summte und briet die ganze Nacht, es war unmöglich zu schlafen. Es musste sichergestellt werden, dass keine Fehler in der Konsole vorhanden waren, da alles regelmäßig hing. Am Morgen führte ich einen Test durch, um 100 Sätze mit einer Länge von 1 bis 100 Wörtern zu übersetzen, und stellte fest, dass es sich um eine gute Übersetzung handelte, auch in langen Zeilen. Diese Nacht hat alles verändert. Ich sah das Licht am Ende des Tunnels, dass man eines Tages immer noch eine gute Übersetzungsqualität erzielen kann.

Verbesserung der Anwendungsqualität

Nachdem ich mit einem iOS-Übersetzer mit einer Schaltfläche und einer Funktion Geld verdient hatte, beschloss ich, seine Qualität zu verbessern und eine Version für Android, Mac OS und Windows Desktop zu erstellen. Ich hatte gehofft, dass ich mit meiner eigenen API die Entwicklung von Anwendungen abschließen und in andere Märkte eintreten kann. Während der Zeit, als ich das Problem meiner API löste, gingen die Konkurrenten viel weiter. Es wurden einige Funktionen benötigt, für die mein Übersetzer herunterladen wird.

Als erstes habe ich mich für die Sprachübersetzung für mobile Anwendungen ohne Internetzugang entschieden. Dies war ein persönliches Problem. Sie gehen beispielsweise nach Deutschland, laden nur das deutsche Paket auf Ihr Telefon herunter (400 MB) und erhalten eine Übersetzung vom Englischen ins Deutsche und umgekehrt. In der Tat ist das Problem des Internets im Ausland akut. Wifi ist entweder nicht oder es ist passwortgeschützt oder nur langsam, daher ist es unmöglich, es zu verwenden. Obwohl es Tausende hochwertiger Übersetzeranwendungen gibt, die auch 2017 nur über das Internet mit der Google-API funktionieren.

Da viele aufgrund der nicht sehr verbreiteten Sprache Probleme mit der Lua (Torch) -Version von OpenNMT hatten, übertrugen die Gründer die Logik des Skripts translate.lua auf die C ++ - Version (CTranslate), die für bequemere Übersetzungsexperimente verwendet wurde. In der Lua-Version war es möglich, Modelle in der C-Version zum Laufen zu trainieren. Bereits im Mai 2017 war es möglich, es als Produktionsgrundlage für Anwendungen zu nutzen.

Wir haben CTranslate portiert, um für Anwendungen zu arbeiten und alles in OpenSource zu integrieren.

Hier ist ein Link zu diesem Thread:

github.com/hunter-packages/onmt

Das Portieren von CTranslate auf verschiedene Plattformen ist nur der erste Schritt. Es war notwendig zu verstehen, wie Offline-Modelle von geringer Größe und normaler Qualität für Telefone und Computer erstellt werden können. Die ersten Versionen der Übersetzungsmodelle belegten 2 GB im RAM des Telefons, was absolut wertlos war.

Ich habe Leute in Spanien mit guten Erfahrungen in maschinellen Übersetzungsprojekten gefunden. Etwa 3 Monate lang führten wir gemeinsam Forschungs- und Entwicklungsarbeiten im Bereich der Reduzierung der Größe des Neuronenmodells für die Translation durch, um 150 MB pro Paar zu erreichen und dann auf Mobiltelefonen auszuführen.
Die Größe musste so reduziert werden, dass möglichst viele Optionen zum Übersetzen von Wörtern unterschiedlicher Länge und Themen in eine bestimmte Wörterbuchgröße (z. B. 30.000 Wörter) enthalten waren.

Später wurde das Ergebnis unserer Forschung öffentlich zugänglich gemacht und der Europäischen Vereinigung für maschinelle Übersetzung in Alicante (Spanien) im Mai 2018 vorgestellt, und eines der Teammitglieder verteidigte die Promotion darüber.

rua.ua.es/dspace/bitstream/10045/76108/1/EAMT2018-Proceedings_33.pdf?fbclid=IwAR1BxipmZMR8Rt0d32gcJ7BaFt1Tf1UEm9LkJCYytBJLgdtx3ujAPFCw80

Auf der Konferenz wollten viele Leute ein Produkt kaufen, aber bisher war nur ein Sprachpaar bereit (Englisch - Spanisch). Die Offline-Übersetzung auf Neuronen für Telefone war im März 2018 fertig und konnte bis zum Sommer in allen anderen Sprachen durchgeführt werden. Aber unter dem Vertrag konnte ich nicht die Quellen und die Werkzeuge bekommen, die dazu verwendet wurden, um einen Offline-Übersetzer in anderen Sprachen zu machen. Der Vertrag musste sorgfältig gelesen werden. Alleine konnte ich die Ergebnisse nicht schnell in anderen Sprachen reproduzieren. Ich musste diese Funktion unterbrechen. Ein Jahr später kehrte ich zu ihr zurück und schloss es ab.

Zusätzlich zur Übersetzung von Text, Sprache und Bildern wurde beschlossen, eine Übersetzung von Telefonanrufen mit Transkription hinzuzufügen, die die Wettbewerber nicht hatten. Es gab eine Berechnung, die häufig in verschiedenen Ländern beim Support oder bei geschäftlichen Fragen angerufen wurde, außerdem über ein Mobiltelefon oder ein Festnetztelefon. Derjenige, an den der Anruf gerichtet ist, muss die Anwendung nicht installieren. Diese Funktion erforderte viel Zeit und Kosten, so dass später beschlossen wurde, sie in eine von der Hauptanwendung getrennte Anwendung zu stellen. Also erschien der Telefonanruf-Übersetzer .

Übersetzungsanwendungen hatten ein Problem - sie werden nicht jeden Tag verwendet. Es gibt nicht viele Situationen im Leben, in denen Sie täglich übersetzen müssen. Wenn Sie jedoch die Sprache lernen, wird häufig ein Übersetzer eingesetzt. Um Sprachen zu lernen, haben wir eine Kartenfunktion erstellt, bei der Lesezeichen auf der Website über eine Erweiterung für den Browser oder in Untertiteln für den Film zu Wörtern hinzugefügt werden. Anschließend wird das Wissen mithilfe der mobilen Chat-Bot-Anwendung oder der Smart-Column-Anwendung konsolidiert, mit der die ausgewählten Wörter überprüft werden. Alle Lingvanex-Anwendungen sind über ein einziges Konto miteinander verbunden, sodass Sie mit der Übersetzung in einer mobilen Anwendung beginnen und auf Ihrem Computer fortfahren können.

Außerdem wurden Voice-Chats mit Übersetzung hinzugefügt. Dies ist nützlich für Touristengruppen, wenn der Reiseleiter seine eigene Sprache sprechen kann und jeder Besucher in Übersetzung zuhört. Und am Ende - die Übersetzung großer Dateien auf dem Telefon oder Computer.

Backenster-Projekt

7 Jahre lang erhielt ich 35 Millionen Downloads ohne Werbekosten und verdiente mehr als 1 Million US-Dollar. Fast die Hälfte von ihnen sind Übersetzer. Dies waren Testanwendungen zum Erlernen des mobilen Marketings. Aufgrund der großen Anzahl von Fehlern kamen und gingen Millionen von Benutzern. Nachdem ich die nötigen Erfahrungen gesammelt habe, entscheide ich mich, ein kleines internes Backenster-Teilprojekt für die Verwaltung von Anwendungen, Werbung und Analysen zu erstellen, um die Fehler der Vergangenheit bei hochwertigen Übersetzern nicht zu wiederholen und so viel wie möglich zu verdienen.

Über dieses System werde ich Benutzer meiner alten Übersetzeranwendungen auf neue umleiten, da kein Geld vorhanden ist, um Datenverkehr zu kaufen. An anderer Stelle blieben 5-10 Millionen alte Anwendungen auf den Telefonen. Wenn die Anwendungen fertig sind, müssen Sie nur noch auf "Start" klicken. Es wird um ein Vielfaches billiger sein, als die gleiche Anzahl von Benutzern gegen eine Gebühr anzuziehen. Allmählich wurden ein Testverwaltungssystem, Abonnements, Aktualisierungen, Konfigurationen, Benachrichtigungen, ein Vermittler von Werbung usw. sowie die Möglichkeit hinzugefügt, mobile Anwendungen in Browsererweiterungen, Chatbots, Desktops, Sprachassistenten und umgekehrt zu bewerben. Ich habe mich entschlossen, alle Probleme vorherzusehen, die während dieser Zeit bei Bewerbungen aufgetreten sind.

Perspektive und Strategie

Wenn Sie eine API für Ihre Anwendungen erstellen und viel Geld investieren, müssen Sie das Volumen und die Perspektiven des Marktes für maschinelle Übersetzung verstehen. Für 2017 gab es eine Prognose, dass der Markt bis 2023 1,5 Milliarden US-Dollar betragen wird, obwohl das Marktvolumen für alle Transfers 70 Milliarden US-Dollar betragen wird (für 2023).

Warum so ein Lauf - ungefähr 50 Mal?

Nehmen wir an, der beste maschinelle Übersetzer übersetzt jetzt gut 80% des Textes. Die restlichen 20% müssen von einer Person bearbeitet werden. Die größten Übersetzungskosten sind Korrekturlesen, dh die Gehälter der Menschen.

Eine Steigerung der Übersetzungsqualität sogar um 1% (in unserem Beispiel bis zu 81%) kann die Kosten für das Korrekturlesen von Text im übertragenen Sinne um 1% senken. 1% der Differenz zwischen dem Markt aller Transfers abzüglich der Maschine beträgt (70 - 1,5 = 68,5 Mrd. USD) oder bereits 685 Mio. USD. Die obigen Zahlen und Berechnungen sind ungefähr angegeben, um die Essenz zu vermitteln.

Das heißt, eine Qualitätsverbesserung von sogar 1% kann große Unternehmen bei Übersetzungsdiensten erheblich einsparen. Mit der Entwicklung der Qualität der maschinellen Übersetzung wird immer mehr davon den Markt für manuelle Übersetzungen ersetzen und Lohnkosten sparen. Es ist nicht notwendig, alle Sprachen abzudecken. Sie können ein beliebtes Paar (Englisch-Spanisch) und einen der Bereiche (Medizin, Metallurgie, Petrochemie usw.) auswählen. 100% Qualität - die perfekte maschinelle Übersetzung zu allen Themen - in naher Zukunft unerreichbar. Und jeder nachfolgende Prozentsatz der Qualitätsverbesserung wird schwieriger.

Dies hindert den Markt für maschinelle Übersetzung jedoch nicht daran, bis 2023 einen bedeutenden Teil des Gesamtmarktes einzunehmen (analog zu DeepL wurden 10% des Google-Marktes unmerklich erfasst), da große Unternehmen täglich verschiedene Übersetzer-APIs testen. Durch die Verbesserung der Qualität eines von ihnen um einen Prozentsatz (für jede Sprache) können sie viele Millionen US-Dollar sparen.
Die Strategie großer Unternehmen, ihre eigene Betriebszeit zu schaffen, hat erste Früchte getragen. Es gibt mehr Startups, wissenschaftliche Veröffentlichungen und Mitarbeiter in der Branche, die es uns ermöglicht haben, den Markt zu rocken und eine bessere Übersetzungsqualität zu erzielen, was unsere Prognose für den Markt für maschinelle Übersetzung erhöht.

Jedes Jahr finden Wettbewerbe zu den NLP-Aufgaben statt, bei denen Unternehmen, Startups und Universitäten gegeneinander antreten, die in bestimmten Sprachpaaren die beste Übersetzung haben.

http://statmt.org/wmt18/

Durch die Analyse der Gewinnerliste besteht das Vertrauen, dass kleine Ressourcen hervorragende Ergebnisse erzielen können.

Firmeneröffnung

Seit mehreren Jahren ist das Projekt um ein Vielfaches gewachsen. Anwendungen sind nicht nur für mobile Plattformen erschienen, sondern auch für Computer, tragbare Geräte, Instant Messenger, Browser und Sprachassistenten. Neben der Übersetzung von Text wurde eine Übersetzung von Sprache, Bildern, Dateien, Websites und Telefonanrufen erstellt. Ursprünglich wollte ich meine Übersetzungs-API nur für meine Anwendungen verwenden. Aber dann habe ich beschlossen, es allen anzubieten. Die Konkurrenten gingen voran, und es war notwendig, Schritt zu halten.

Bis zu diesem Zeitpunkt habe ich als Einzelunternehmer alles alleine geschafft und Leute für die Auslagerung eingestellt. Die Komplexität des Produkts und die Anzahl der Aufgaben nahmen jedoch rapide zu, und es wurde deutlich, dass Sie Funktionen delegieren und schnell Mitarbeiter für Ihr eigenes Team in Ihrem Büro einstellen müssen. Ich rief einen Freund an, er kündigte seinen Job und beschloss, Lingvanex im März 2019 zu eröffnen.

Bis zu diesem Moment erstellte ich ein Projekt ohne Werbung, und als ich mich entschied, mein Team zusammenzustellen, stieß ich auf ein Suchproblem. Niemand glaubte, dass dies überhaupt möglich ist, und verstand nicht warum. Ich musste viele Leute interviewen und jede 3 Stunden lang über Tausende von nicht offensichtlichen Details sprechen. Als der erste Artikel über das Projekt herauskam, wurde es einfacher. Mir wurde immer eine Frage gestellt:

Die erste Frage klingt immer "Was bist du besser als Google?"

Derzeit ist es unser Ziel, die Qualität der Google-Übersetzung eines gemeinsamen Themas in den wichtigsten europäischen und asiatischen Sprachen zu erreichen und anschließend Lösungen bereitzustellen für:

1) Die Übersetzung von Text und Websites über unsere API ist dreimal billiger als die der Wettbewerber und bietet exzellenten Support-Service und einfache Integration. Zum Beispiel betragen die Kosten für die Google-Übersetzung 20 US-Dollar pro Million Zeichen, was für einen erheblichen Betrag von

2 sehr teuer ist. 2) Hochwertige thematische Übersetzung von Dokumenten zu bestimmten Themen (Medizin, Metallurgie, Recht usw.) per API, einschließlich der Integration in professionelle Tools Übersetzer (wie SDL Trados)

3) Integration in die Geschäftsprozesse von Unternehmen, um Übersetzungsmodelle auf ihren Servern unter unserer Lizenz auszuführen. Auf diese Weise können Sie die Vertraulichkeit von Daten wahren, nicht vom Volumen des übersetzten Textes abhängen und die Übersetzung für die Besonderheiten eines bestimmten Unternehmens optimieren.

Sie können die Übersetzungsqualität für bestimmte Sprachpaare oder Themen verbessern als die Konkurrenz. Du kannst alles machen. Dies ist eine Frage der Unternehmensressourcen. Bei ausreichenden Investitionen gibt es kein Problem. Was und wie zu tun ist - es ist bekannt, dass Sie nur arbeitende Hände und Geld benötigen.

Tatsächlich wächst der NLP-Markt sehr schnell, da Erkennung, Sprachanalyse und maschinelle Übersetzung verbessert werden und ein kleines Team gute Gewinne erzielen kann. Jeder Hype hier wird in 2-3 Jahren beginnen, wenn die heutige Marktförderung durch große Unternehmen Früchte tragen wird. Eine Reihe von Fusionen / Übernahmen wird beginnen. Die Hauptsache in diesem Moment ist, ein gutes Produkt mit einem Publikum zu haben, das Sie verkaufen können.

Gesamt

Testanwendungen haben mehr als 1 Million US-Dollar eingebracht, von denen die meisten für die Erstellung eines eigenen Übersetzers ausgegeben wurden. Jetzt ist es offensichtlich, dass alles viel billiger und besser gemacht werden könnte. Es wurden viele Managementfehler gemacht, aber dies ist Erfahrung, und dann gab es niemanden, mit dem man sich beraten konnte. Der Artikel beschreibt einen sehr kleinen Teil dieser Geschichte, und manchmal ist nicht klar, warum bestimmte Entscheidungen getroffen wurden. Stellen Sie Fragen in den Kommentaren.

Im Moment haben wir die Qualität der Google-Übersetzung nicht erreicht, aber ich sehe keine Probleme dabei, wenn das Team mindestens einige Spezialisten für die Verarbeitung natürlicher Sprachen hat.
Jetzt arbeitet unser Übersetzer am besten von Englisch nach Deutsch, Spanisch, Französisch.

Links zu neuen Programmen, die über 3 Jahre entwickelt wurden und in die Geld investiert wurde. Wenn jemand die alten Testanwendungen sehen möchte, die am Anfang des Artikels besprochen wurden (wo Geld verdient wurde und 35 Millionen Sprünge), schreiben Sie in einem persönlichen.

Übersetzer für iOS

Übersetzer für Android

Übersetzer für Mac OS

Übersetzer für Windows

Übersetzer für Chrome

Übersetzer für Telegramm

Dieser Link kann gefunden werden

Übersetzungs-API-Demo

Das Team benötigt außerdem einen Produktmanager (mobile Anwendungen) und einen Python-Programmierer mit Erfahrung in NLP-Projekten.

Wenn Sie Ideen für gemeinsame Partnerschaften und Angebote haben - schreiben Sie in PM, fügen Sie sie zu Facebook und LinkedIn hinzu.

Wie ich ohne Erfahrung und Verbindungen 1.000.000 USD verdient und sie dann ausgegeben habe, um meinen Übersetzer zu machen