Get best of the week

Como ganhei US $ 1.000.000 sem experiência e conexões e os gastei para fazer meu tradutor

Como tudo começou


Esta história começou há 15 anos. Enquanto trabalhava como programador na capital, acumulei dinheiro e deixei meu emprego para criar meus próprios projetos posteriormente. Para economizar dinheiro, ele foi para casa, para uma pequena cidade natal, onde trabalhava em um site para estudantes, um programa de negociação, jogos para celulares. Porém, devido à falta de experiência nos negócios, isso não gerou renda e logo os projetos foram encerrados. Eu tive que ir para a capital novamente e conseguir um emprego. Esta história foi repetida várias vezes.

Quando meu dinheiro acabou novamente, a crise veio. Não consegui encontrar emprego, a situação tornou-se crítica. Chegou a hora de analisar todas as coisas com um olhar sóbrio. Eu tive que admitir honestamente para mim mesmo que não sabia quais nichos escolher para os negócios. Criar projetos que você gosta é o caminho para lugar nenhum.

A única coisa que eu podia fazer era aplicativos para iOS. Vários anos de trabalho em empresas de TI me permitiram ganhar alguma experiência, e foi decidido fazer muitas aplicações simples fundamentalmente diferentes (jogos, música, desenho, estilo de vida saudável, aprendizado de idiomas) e testar em quais nichos haverá pouca concorrência. Um conjunto de classes e bibliotecas foi preparado para possibilitar a criação rápida de aplicativos simples sobre vários tópicos (jogos 2D, rastreadores de GPS, utilitários simples, etc.). A maioria deles tinha várias fotos, 2 botões e apenas uma função. Mas isso foi suficiente para testar a idéia e como seria fácil ganhar dinheiro com ela. Por exemplo, um aplicativo em execução rastreava a velocidade de uma pessoa, a distância percorrida e contava calorias. Passei um ano e meio criando centenas de aplicativos simples.Essa velocidade foi possível graças à compra de gráficos em ações, bem como à reutilização de códigos-fonte.



No início, os aplicativos eram gratuitos. Em seguida, adicionei anúncios e compras no aplicativo, peguei palavras-chave e ícones brilhantes. Os aplicativos começaram a baixar.

Quando a renda chegou a US $ 30 mil / mês, decidi contar a um amigo que trabalhava em uma grande empresa de alimentos que consegui atingir esse valor nos aplicativos de teste e sugeri criá-los juntos. Ele respondeu que eles têm apenas um aplicativo - um jogo com uma renda de US $ 60 mil e 25 mil usuários por mês, contra US $ 30 mil em receita e 200 mil usuários de mim. Isso mudou completamente meus pontos de vista. Descobriu-se que era melhor criar um aplicativo de alta qualidade do que cem de baixa qualidade

Entendi que você pode ganhar dezenas de vezes mais com os de alta qualidade, mas eu estava sozinho em uma cidade pequena sem a experiência e a equipe de designers e profissionais de marketing. Eu precisava pagar pelo aluguel de um apartamento e ganhar a vida. Os aplicativos de teste eram necessários apenas para testar nichos de mercado e estratégias de publicidade para aprender quais aplicativos e como criá-los. Aconteceu que alguns deles começaram a trazer bons rendimentos. Agora, o tópico de aplicativos simples desapareceu há muito tempo e não há mais muito dinheiro a ganhar.

Algumas aplicações diferiam bastante em lucro - eram tradutores, aplicativos para transporte de carga, programas de música (que simulam tocar piano, bateria ou, por exemplo, acordes de guitarra, tocadores), além de jogos lógicos simples.

Ao testar vários tipos de jogos, percebi que jogos com uma longa duração de sessão e envolvimento do usuário (como “2048”) podem gerar muito dinheiro por um longo intervalo de tempo. Mas, a princípio, não era óbvio. Por isso, criei testes como rastreadores de GPS para esquiadores e, nas palavras-chave, coloquei o nome de resorts de esqui populares como Courchevel. E então ele ficou feliz que um clique na publicidade gerou US $ 2. Mas era uma estratégia de curto prazo, não escalável.

Então notei que em apenas um mês, os tradutores fizeram o download mais de um milhão de vezes. E isso apesar do fato de estarem aproximadamente na 100ª posição no ranking da categoria.

Os aplicativos de música trouxeram tantos saltos, mas, dado o envolvimento dos usuários, eles foram menos promissores. Os usuários precisam ser atraídos por palavras-chave de alta frequência, e não há muitos nesse nicho: aqueles que procuram aplicativos para violão inserem "violão", "baixo", "acordes" etc. na pesquisa. É difícil encontrar muitos sinônimos para esses tópicos. Assim, os usuários se concentram em solicitações de alta frequência e, mais cedo ou mais tarde, seu envolvimento será caro. Os tradutores são diferentes.

Existem centenas de idiomas no mundo, e as pessoas inserem uma consulta não apenas com a palavra geral "tradutor", mas também com algumas palavras como solução para o problema: "traduzir para o francês", "tradutor do chinês". Se houver muitas solicitações, você poderá atrair usuários simplesmente por palavras-chave de média frequência (ASO). O nicho acabou sendo promissor, principalmente porque eu gostei do tópico de traduções.

Posteriormente, cerca de 40 tradutores simples foram criados usando a tradução fornecida pela API do Google. Seu custo foi de US $ 20 por 1 milhão de caracteres traduzidos. Gradualmente, surgiram versões aprimoradas de aplicativos, onde adicionei anúncios, compras no aplicativo e tradução por voz.

Depois de ganhar dinheiro, mudei-me para Minsk e comprei uma casa. Naquela época, eu tinha entre 50 e 70 aplicativos de tradução e 5 milhões de downloads. Mas com o crescimento dos usuários, o custo da API paga do Google Translate aumentou. A lucratividade do negócio diminuiu seriamente. Os usuários pagantes traduziram blocos de mil caracteres por vez, o que forçou a introdução de limites na solicitação. Quando descansaram no limite da tradução, escreveram críticas ruins e devolveram o dinheiro. Chegou o momento em que 70% dos recursos foram gastos. Com grandes volumes de tradução, esse negócio não era tão promissor. Para recuperar os custos, era necessário adicionar muita publicidade aos aplicativos, e isso sempre afasta os usuários. Era necessário criar sua própria API para tradução, e isso provavelmente não seria barato.

Tentei pedir conselhos e investimentos às startups e à comunidade de TI, mas não encontrei suporte. A maioria das pessoas não entendeu por que trabalhar em um mercado onde já existe um líder - o tradutor do Google.

Além do Google, havia várias empresas que forneciam uma API para tradução. Eu estava pronto para pagar US $ 30 mil por suas licenças de tecnologia de tradução em 40 idiomas. Isso me permitiria traduzir um número ilimitado de vezes por um preço fixo e atender a qualquer número de usuários em meus servidores. Mas, em resposta, eles me chamaram de uma quantidade várias vezes maior. Foi muito caro. Foi decidido tentar criar sua própria tecnologia para tradução. Tentei atrair amigos para o desenvolvimento, mas a maioria deles já tinha famílias, filhos pequenos e empréstimos. Todos queriam estabilidade e vida à vontade por um bom salário, e não ir a uma startup. Eles também não entenderam por que criar um tradutor se o Google possui um aplicativo de tradução e API sofisticados e sofisticados. Eu não tive experiência de falar em público,aplicações de carisma e protótipos interessantes para interessar as pessoas. A análise de ganhos de US $ 300 mil em aplicativos de tradução de teste não surpreendeu ninguém.

Virei-me para um amigo que possui uma empresa de terceirização em Minsk. No final de 2016, ele alocou uma equipe para mim. Eu esperava resolver o problema em seis meses com base em projetos de código aberto, para não depender da API do Google.

A caminho do meu tradutor


O trabalho começou. Em 2016, encontramos vários projetos de código aberto - Apertium, Joshua e Moses. Era uma tradução automática estatística, adequada para textos simples. Esses projetos foram apoiados por 3 a 40 pessoas e demorou muito tempo para obter uma resposta a uma pergunta sobre eles. Depois que descobrimos e ainda os executamos para testes, ficou claro que precisávamos de servidores poderosos e conjuntos de dados de alta qualidade, que eram caros. Mesmo depois de gastarmos dinheiro em hardware e um conjunto de dados de qualidade para um dos pares de conversão, a qualidade deixou muito a desejar.

Tecnicamente, não se resumia ao esquema "baixar conjunto de dados e treinar". Descobriu-se que existem milhões de nuances das quais nem sequer tínhamos consciência. Tentamos mais alguns recursos, mas não obtivemos bons resultados. Mas o Google e a Microsoft não divulgam suas conquistas. No entanto, o trabalho continuou, freelancers conectados periodicamente.

Em março de 2017, deparamos com um projeto chamado Open NMT. Este é um desenvolvimento conjunto da Systran, uma das líderes no mercado de tradução automática, e da Universidade de Harvard. O projeto acabou de ser lançado e ofereceu tradução já com base em uma nova tecnologia - redes neurais.

As modernas tecnologias de tradução automática pertencem a grandes empresas, estão fechadas. Os pequenos jogadores, percebendo o quão difícil é se infiltrar neste mundo, não fazem tais tentativas. Isso impede o desenvolvimento do mercado. A qualidade da tradução entre os líderes não diferiu muito um do outro por um longo tempo. Obviamente, as grandes empresas também enfrentaram uma escassez de entusiastas, artigos científicos, startups e projetos de código aberto, a fim de ter novas idéias e contratar pessoas.

Portanto, Systran fez uma manobra fundamentalmente nova: estabeleceu suas bases em código aberto, para que entusiastas como eu pudessem se envolver nesse trabalho. Eles criaram um fórum onde seus especialistas começaram a ajudar os recém-chegados gratuitamente. E trouxe um bom retorno: start-ups, começaram a aparecer trabalhos científicos sobre tradução, pois todos podiam tomar a base e conduzir seus experimentos com base nela. Systran liderou esta comunidade. Então outras empresas se juntaram.

Naquela época, ainda não havia tradução neural onipresente, e o Open NMT ofereceu bases nessa área, superando a tradução automática estatística em qualidade. Eu e outras pessoas ao redor do mundo pudemos usar essas tecnologias e pedir conselhos a especialistas. Eles compartilharam suas experiências de bom grado, e isso me permitiu entender em que direção seguir.

Tomamos o OpenNMT como base. Isso aconteceu no início de 2017, quando ainda estava “cru” e não continha nada além de funções básicas. Tudo isso foi em Lua (Torch), puramente para pesquisa acadêmica. Muitos bugs foram encontrados, tudo funcionava devagar, instável e trava sob carga leve. Não era adequado para produção. Então, em um bate-papo geral, todos testamos juntos, pegamos erros, compartilhamos idéias, aumentando gradualmente a estabilidade (então éramos cerca de 100 pessoas). No começo, eu me perguntava: como, por que a Systran aumenta seus concorrentes? Mas com o tempo, entendi as regras do jogo, quando mais e mais empresas começaram a estabelecer suas bases para o processamento de linguagem natural em código aberto.

Mesmo que todos tenham o poder de computação para lidar com grandes conjuntos de dados, a questão de encontrar especialistas em PNL (processamento de linguagem natural) é aguda no mercado. Em 2017, esse tópico foi muito menos desenvolvido que o processamento de imagem e vídeo. Menos conjuntos de dados, trabalhos científicos, especialistas, estruturas e muito mais. Há ainda menos pessoas capazes de construir um negócio e fechar qualquer um dos nichos locais nos documentos de pesquisa da PNL. As empresas de primeira linha, como o Google, e os players menores da Systran, precisam obter uma vantagem competitiva sobre os players de sua categoria.

Como eles resolvem esse problema?

À primeira vista, isso parece estranho, mas, para competir entre si, eles decidem introduzir novos jogadores (concorrentes) no mercado e, para que apareçam lá, é preciso balançá-lo. O limiar de entrada ainda é alto e a demanda por tecnologias de processamento de fala está crescendo muito (assistentes de voz, bots de bate-papo, traduções, reconhecimento e análise de fala etc.) O número necessário de startups que você pode comprar para fortalecer sua posição ainda é ainda não.

Em domínio público, publicou trabalhos científicos das equipes do Google, Facebook e Alibaba. A partir deles, suas estruturas e conjuntos de dados são dispostos em código-fonte aberto. Os fóruns são criados com respostas a perguntas.

Grandes empresas estão interessadas em startups como a nossa, desenvolvendo, capturando novos nichos e mostrando o máximo crescimento. Eles estão felizes em comprar startups de PNL para fortalecer suas grandes empresas.

Afinal, mesmo que você tenha todos os conjuntos de dados e algoritmos em suas mãos e eles digam isso, isso não significa que você fará um tradutor de alta qualidade ou outra inicialização no campo da PNL. E mesmo se você o fizer, está longe de morder uma grande fatia do mercado. Portanto, você precisa de ajuda e, se alguém obtiver sucesso, compre ou mescle.

Em março de 2018, Systran convidou toda a comunidade para Paris para trocar experiências e também organizou uma master class gratuita sobre os principais problemas que as startups de tradução enfrentam. Todos estavam interessados ​​em se ver ao vivo.

Todo mundo tinha vários projetos. Alguém criou um bot para aprender inglês, com o qual você pode falar como pessoa. Outros usaram o openNMT para resumir o texto. Uma parte significativa das startups representava plug-ins para o SDL Trados Studio, adaptados a um tópico específico (medicina, construção, metalurgia etc.) ou um idioma para ajudar os tradutores a economizar tempo na edição do texto traduzido.

Além dos entusiastas, os caras do Ebay e Booking chegaram a Paris, que criaram um intérprete na mesma plataforma que a nossa, mas otimizados para traduzir descrições de leilões e hotéis.

Também em maio de 2017, o Facebook divulgou suas bases para a tradução automática do Fairseq em código aberto, juntamente com modelos treinados para testes. Mas decidimos permanecer no OpenNMT, observando como a comunidade cresce.

História do DeepL


Em setembro de 2017, analisando os concorrentes, descobri o DeepL. Eles começaram na época e forneceram a tradução em apenas 7 idiomas. O DeepL foi posicionado como uma ferramenta para tradutores profissionais, ajudando a gastar menos tempo na revisão após a tradução automática. Mesmo uma pequena alteração na qualidade da tradução economiza muito dinheiro para as empresas de tradução. Eles monitoram constantemente a API para tradução automática de diferentes fornecedores, pois a qualidade em muitos pares de idiomas é diferente para todos e não existe um líder único. Embora o número de idiomas - principalmente no Google.

Para demonstrar a qualidade da tradução, o DeepL decidiu executar testes em alguns idiomas.

techcrunch.com/2017/08/29/deepl-schools-other-online-translators-with-clever-machine-learning

A avaliação da qualidade foi realizada por testes cegos, quando tradutores profissionais escolhem a melhor tradução do Google, Microsoft, DeepL, Facebook. De acordo com os resultados, o DeepL venceu, o júri classificou sua tradução como a mais “literária”.

Como isso aconteceu?

Os fundadores da DeepL possuem startup Linguee - o maior banco de dados de links para textos traduzidos. Provavelmente, eles têm um grande número de conjuntos de dados reunidos por analisadores e, para treiná-los, você precisa de mais poder de computação.

Em 2017, eles publicaram um artigo informando que haviam montado um supercomputador de 5 petflops na Islândia (na época era o 23º computador mais poderoso do mundo). Treinar um modelo de grande qualidade era apenas uma questão de tempo. Naquele momento, parecia que, mesmo se comprarmos conjuntos de dados de alta qualidade, nunca conseguiremos competir com eles sem esse supercomputador.

www

. A Nvidia lança um computador DGX-2 do tamanho de uma mesa de cabeceira e um desempenho de 2 petFlops (FP16), que agora podem ser alugados a partir de US $ 5.000 / mês.

www.nvidia.com/en-us/data-center/dgx-2

Tendo esse computador, você pode treinar seus modelos com conjuntos de dados gigantes rapidamente e também manter uma grande carga na API. Isso muda drasticamente o equilíbrio de poder de todo o mercado de startups de aprendizado de máquina e permite que pequenas empresas concorram com gigantes no campo do trabalho com big data. Foi a melhor oferta do mercado em uma relação preço-desempenho.

Comecei a procurar informações sobre estatísticas DeepL. Para 2018, o Google tinha 500 milhões de usuários por mês. O DeepL tem 50 milhões (artigo de 12 de dezembro de 2018).

slator.com/ma-and-funding/benchmark-capital-takes-13-6-stake-in-deepl-as-usage-explodes

Acontece que no final de 2018, 10% da audiência mensal do Google usava o DeepL, e eles não eram particularmente anunciados em lugar algum. Em pouco mais de um ano, eles capturaram 10% do mercado usando o boca a boca.

Eu pensei sobre isso. Se o DeepL derrotou o Google com uma equipe de 20 pessoas, tendo um carro em 5 petaFlops em 2017, e agora você pode alugar um carro a preço baixo em 2 petaFlops e comprar conjuntos de dados de alta qualidade, quão difícil será alcançar a qualidade do Google?

Painel de controle Lingvanex


Para lidar rapidamente com as tarefas de tradução e não executar testes no console, foi criado um Painel que permite executar todas as tarefas, desde a preparação e filtragem de dados até a implantação de testes de tradução na Produção. Na figura abaixo: à direita está uma lista de tarefas e servidores de GPU nos quais os modelos estão sendo treinados. No centro estão os parâmetros da rede neural e abaixo estão os conjuntos de dados que serão usados ​​para o treinamento.



O trabalho em um novo idioma começou com a preparação de um conjunto de dados. Nós os retiramos de fontes abertas, como Wikipedia, reuniões do Parlamento Europeu, Paracrawl, Tatoeba e outros.Para obter uma qualidade de tradução média, 5 milhões de linhas traduzidas são suficientes.



Conjuntos de dados são linhas de texto traduzidas de um idioma para outro. Em seguida, o tokenizador divide o texto em tokens e cria dicionários a partir deles, classificados pela frequência da reunião do token. O token pode ter caracteres únicos, sílabas ou palavras inteiras.



Depois que os conjuntos de dados foram carregados no banco de dados, eles se revelaram muitas palavras com erros ou com má tradução. Para obter boa qualidade, eles precisam ser fortemente filtrados. Você também pode comprar conjuntos de dados filtrados de alta qualidade.



Quando o idioma é implantado na API, você precisa definir uma lista de funções disponíveis para ele (reconhecimento de voz, síntese de fala, reconhecimento de imagem, analisador de arquivo, site etc.). Para que as funções funcionem, eles usam uma parte de API de terceiros de código aberto - parte de terceiros.

Em seguida, tudo é implantado na API. Com o tempo, um cache foi adicionado. Funciona bem em frases de 1 e 2 palavras e pode economizar até 30% das consultas.

Continuamos trabalhando


Durante todo o ano de 2018, resolvi o problema da tradução de alta qualidade nos principais idiomas europeus. Eu pensei que outros seis meses - e tudo vai dar certo. Eu era muito limitado em recursos, apenas 2 pessoas estavam envolvidas em tarefas de Ciência de Dados. Era necessário avançar rápido. Parecia que a solução para o problema era algo simples. Mas o momento brilhante não chegou, não fiquei satisfeito com a qualidade da tradução. Já foram gastos cerca de US $ 450 mil ganhos em tradutores antigos e foi necessário tomar uma decisão sobre o que fazer em seguida. Ao lançar esse projeto sozinho e sem investimento, percebi quantos erros de gerenciamento cometi. Mas a decisão foi tomada - vá até o fim!

Nesse momento, notei que em nossa comunidade eles começaram a falar sobre uma nova arquitetura para redes neurais - Transformer. Todo mundo correu para treinar redes neurais baseadas nesse modelo do Transformer e começou a mudar para Python (Tensorflow) em vez do antigo Lua (Torch). Decidi tentar também.

Também pegamos um novo tokenizador, pré-processamos o texto, começamos a filtrar e marcar os dados de maneira diferente, caso contrário, processamos o texto após a tradução para corrigir erros. A regra de 10 mil horas funcionou: havia muitas etapas para o objetivo e, em algum momento, percebi que a qualidade da tradução já era suficiente para usá-la na API para meus próprios aplicativos. Cada mudança adicionou 2-4% de qualidade, o que não foi suficiente para a massa crítica e na qual as pessoas continuam a usar o produto sem sair da competição.

Então começamos a conectar várias ferramentas que nos permitiram melhorar ainda mais a qualidade da tradução: determinante das entidades nomeadas, transliteração, dicionários temáticos, um sistema para corrigir erros de palavras. Após 5 meses deste trabalho, a qualidade das traduções em algumas línguas se tornou muito melhor e as pessoas começaram a reclamar menos. Foi um ponto de virada. Você já pode vender o programa e, devido ao fato de ter sua própria API para tradução, pode reduzir bastante os custos. Você pode aumentar as vendas ou o número de usuários, porque os custos serão apenas no servidor.

Para treinar uma rede neural, era necessário um bom computador. Mas nós salvamos. Primeiro, alugamos 20 computadores comuns (com um GTX 1080) e lançamos simultaneamente 20 testes simples através do Painel de Controle Lingvanex. Demorou uma semana para cada teste, demorou muito tempo. Para obter melhor qualidade, era necessário executar com outros parâmetros que exigiam mais recursos. Foi necessária uma nuvem e mais placas de vídeo em uma máquina. Decidimos alugar um serviço em nuvem Amazon 8 GPU V100 x 4. É rápido, mas muito caro. Começamos o teste à noite e pela manhã - a conta de US $ 1200. Naquela época, havia muito poucas opções de aluguel para servidores GPU poderosos além dele. Eu tive que abandonar essa idéia e procurar opções mais baratas. Talvez tente montar o seu próprio?

As empresas que ligaram terminaram com o fato de que nós mesmos tivemos que enviar uma configuração detalhada, e eles a montaram. O que é melhor em termos de "desempenho / preço" para nossas tarefas, ninguém poderia responder. Tentou pedir em Moscou - tropeçou em alguma empresa suspeita. O site era de alta qualidade, o departamento de vendas estava no assunto. Mas eles não aceitaram transferência bancária e a única opção de pagamento era jogar dinheiro no cartão para o contador. Eles começaram a consultar a equipe e decidiram que é possível montar um computador por conta própria a partir de várias GPUs poderosas e a um preço de até 10 mil dólares, o que resolverá nossos problemas e será recompensado em um mês. Os componentes literalmente rasparam as entranhas: ligaram para Moscou, pediram algo na China, em Amsterdã. Um mês depois, tudo estava pronto.

No início de 2019, finalmente montei este computador em casa e comecei a realizar muitos testes, sem me preocupar com o que eu precisava pagar pelo aluguel. Em espanhol, comecei a perceber que a tradução está próxima da tradução do Google da métrica BLEU. Mas não entendi esse idioma e defini o modelo do tradutor inglês-russo para treinar a noite para entender onde eu estava. O computador tocou e fritou a noite toda, era impossível dormir. Era necessário garantir que não houvesse erros no console, pois tudo pendia periodicamente. De manhã, fiz um teste para traduzir 100 frases com comprimentos de 1 a 100 palavras e vi que era uma boa tradução, inclusive em longas filas. Esta noite mudou tudo. Eu vi a luz no fim do túnel que você ainda pode alcançar um dia com uma boa qualidade de tradução.

Melhorando a qualidade do aplicativo


Tendo ganho dinheiro com um tradutor iOS com um botão e uma função, decidi melhorar sua qualidade e criar uma versão para Android, Mac OS e Windows Desktop. Eu esperava que, quando eu tiver minha própria API, finalize o desenvolvimento de aplicativos e entre em outros mercados. Durante o tempo em que resolvi o problema da minha API, os concorrentes foram muito mais longe. Algumas funções foram necessárias, para o qual será o meu tradutor que fará o download.

A primeira coisa que decidi fazer foi a tradução de voz para aplicativos móveis sem acesso à Internet. Esta foi uma questão pessoal. Por exemplo, você vai para a Alemanha, baixa apenas o pacote em alemão para o seu telefone (400 mb) e obtém uma tradução do inglês para o alemão e vice-versa. De fato, o problema da Internet em países estrangeiros é agudo. Wifi não é, ou é protegido por senha ou apenas lento, como resultado, é impossível usá-lo. Embora existam milhares de aplicativos tradutores de alta qualidade que funcionam apenas pela Internet usando a API do Google, mesmo em 2017.

Como muitos tiveram problemas com a versão Lua (Torch) do OpenNMT devido à linguagem pouco difundida, os fundadores transferiram a lógica do script translate.lua para a versão C ++ (CTranslate), que foi usada para experiências de tradução mais convenientes. Na versão Lua, foi possível treinar modelos, na versão C, para execução. Em maio de 2017, já era possível usá-lo de alguma forma como base de produção para aplicativos.

Portamos o CTranslate para trabalhar com aplicativos e colocamos tudo no código-fonte aberto.

Aqui está um link para este tópico:

github.com/hunter-packages/onmt

Portar o CTranslate para diferentes plataformas é apenas o primeiro passo. Era necessário entender como criar modelos offline de tamanho pequeno e qualidade normal para funcionar em telefones e computadores. As primeiras versões dos modelos de tradução ocupavam 2 GB na RAM do telefone, o que era absolutamente inútil.

Encontrei caras na Espanha com boa experiência em projetos de tradução automática. Por cerca de três meses, realizamos pesquisa e desenvolvimento em conjunto no campo da redução do tamanho do modelo de neurônios para tradução, a fim de atingir 150 mb por par e, em seguida, rodar em telefones móveis.
O tamanho teve que ser reduzido de forma a incluir o maior número possível de opções para traduzir palavras de diferentes comprimentos e tópicos em um determinado tamanho de dicionário (por exemplo, 30 mil palavras).

Posteriormente, o resultado de nossa pesquisa foi disponibilizado ao público e apresentado à Associação Europeia de Tradução Automática em Alicante (Espanha) em maio de 2018, e um dos membros da equipe defendeu seu doutorado.

rua.ua.es/dspace/bitstream/10045/76108/1/EAMT2018-Proceedings_33.pdf?fbclid=IwAR1BxipmZMR8Rt0d32gcJ7BaFt1Tf1UEm9LkJCYytBJLgdtx3ujAPFCw80

Na conferência, muitas pessoas queriam comprar um produto, mas até agora apenas um par de idiomas estava pronto (inglês - espanhol). A tradução offline de neurônios para telefones estava pronta em março de 2018, e foi possível fazer isso em todos os outros idiomas até o verão. Mas, de acordo com o contrato, não consegui obter as fontes e as ferramentas usadas para fazer isso, para fazer um tradutor offline em outros idiomas. Era necessário ler atentamente o contrato. Sozinho, não consegui reproduzir rapidamente os resultados em outros idiomas. Eu tive que pausar esta função. Um ano depois, voltei para ela e a completei.

Além de traduzir texto, voz e imagens, foi decidido adicionar uma tradução de chamadas telefônicas com transcrição que os concorrentes não possuíam. Havia um cálculo que as pessoas costumam chamar de apoio ou sobre questões de negócios em diferentes países, além disso, em um telefone móvel ou fixo. O destinatário da chamada não precisa instalar o aplicativo. Como essa função exigia muito tempo e custo, decidiu-se posteriormente colocá-la em um aplicativo separado do principal. Foi assim que surgiu o Phone Call Translator .

Os aplicativos de tradução tinham um problema - eles não são usados ​​todos os dias. Não há muitas situações na vida em que você precisa traduzir diariamente. Mas se você estuda o idioma, o uso de um tradutor se torna frequente. Para aprender idiomas, criamos uma função de cartões, quando palavras são adicionadas aos favoritos no site por meio de uma extensão para o navegador ou legendas para o filme, e o conhecimento é consolidado usando o aplicativo bot de bate-papo móvel ou o aplicativo de coluna inteligente que verificará as palavras selecionadas. Todos os aplicativos Lingvanex são interconectados por uma única conta, para que você possa começar a traduzir em um aplicativo móvel e continuar no seu computador.

Também foram adicionados bate-papos com tradução. Isso será útil para grupos de turistas, quando o guia puder falar seu próprio idioma, e cada um dos visitantes ouvirá a tradução. E no final - a tradução de arquivos grandes no telefone ou computador.

Projeto de backenster


Por 7 anos, recebi 35 milhões de downloads sem custos com publicidade e ganhei mais de US $ 1 milhão. Quase metade deles são tradutores. Esses eram aplicativos de teste para aprender marketing móvel. Devido ao grande número de erros, milhões de usuários entraram e saíram. Tendo adquirido a experiência necessária, decido criar um pequeno subprojeto Backenster interno para gerenciar aplicativos, publicidade e análises, para não repetir os erros do passado em tradutores de alta qualidade e ganhar o máximo possível.

Através desse sistema, redirecionarei os usuários dos meus aplicativos tradutores antigos para os novos, pois não há dinheiro para comprar tráfego. Em outro lugar, 5 a 10 milhões de aplicativos antigos permaneciam nos telefones. Quando os aplicativos estiverem prontos, resta apenas clicar em "Iniciar". Custará muitas vezes mais barato do que atrair o mesmo número de usuários por uma taxa. Gradualmente, foi adicionado um sistema de gerenciamento de testes, assinaturas, atualizações, configurações, notificações, um mediador de publicidade etc., bem como a capacidade de fazer propaganda cruzada de aplicativos móveis em extensões de navegador, chatbots, desktops, assistentes de voz e vice-versa. Decidi prever todos os problemas que surgiram durante esse período com os aplicativos.



Perspectiva e Estratégia


Ao criar uma API para seus aplicativos e investir muito dinheiro, você precisa entender o volume e as perspectivas do mercado de tradução automática. Em 2017, havia uma previsão de que o mercado se tornaria US $ 1,5 bilhão até 2023, embora o volume de mercado para todas as transferências seja de US $ 70 bilhões (para 2023).

Por que essa corrida - cerca de 50 vezes?

Digamos que o melhor tradutor de máquina agora traduza bem 80% do texto. Os 20% restantes devem ser editados por uma pessoa. Os maiores custos de tradução são a revisão, ou seja, os salários das pessoas.

Um aumento na qualidade da tradução mesmo em 1% (até 81% em nosso exemplo) pode reduzir figurativamente o custo da revisão de texto em 1%. 1% da diferença entre o mercado de todas as transferências menos a máquina será (70 - 1,5 = US $ 68,5 bilhões) ou US $ 685 milhões já. Os números e cálculos acima são dados aproximadamente para transmitir a essência.

Ou seja, uma melhoria de qualidade de até 1% pode economizar significativamente grandes empresas em serviços de tradução. À medida que a qualidade da tradução automática se desenvolve, cada vez mais ela substitui o mercado de tradução manual e economiza em custos salariais. Não é necessário tentar cobrir todos os idiomas, você pode escolher um par popular (inglês-espanhol) e uma das áreas (medicina, metalurgia, petroquímica, etc.). 100% de qualidade - a tradução automática perfeita para todos os assuntos - inatingível em um futuro próximo. E cada porcentagem subsequente de melhoria da qualidade será mais difícil.

No entanto, isso não impede que o mercado de tradução automática ocupe uma parte significativa do mercado total até 2023 (por analogia com o DeepL, conquistou imperceptivelmente 10% do mercado do Google), pois grandes empresas testam APIs de vários tradutores todos os dias. E melhorar a qualidade de um deles em uma porcentagem (para qualquer idioma) permitirá economizar muitos milhões de dólares.
A estratégia das grandes empresas para criar seu próprio tempo de operação em aberto começou a dar frutos. Existem mais startups, trabalhos científicos e pessoas no setor, o que nos permitiu abalar o mercado e alcançar uma melhor qualidade de tradução, aumentando nossa previsão para o mercado de tradução automática.

Todos os anos, são realizadas competições nas tarefas da PNL, onde empresas, startups e universidades competem, que terão a melhor tradução em determinados pares de idiomas.

http://statmt.org/wmt18/

Ao analisar a lista de vencedores, há confiança de que pequenos recursos podem alcançar excelentes resultados.

Abertura da empresa


Por vários anos, o projeto cresceu muitas vezes. Os aplicativos apareceram não apenas para plataformas móveis, mas também para computadores, dispositivos portáteis, mensageiros instantâneos, navegadores, assistentes de voz. Além da tradução de texto, foi criada uma tradução de voz, imagens, arquivos, sites e telefonemas. Inicialmente, planejei fazer com que minha API de tradução fosse usada apenas para meus aplicativos. Mas então eu decidi oferecer a todos. Os concorrentes seguiram em frente, e era necessário acompanhar.

Até aquele momento, eu gerenciava tudo sozinho como empreendedor individual, contratando pessoas para terceirizar. Mas a complexidade do produto e o número de tarefas começaram a crescer rapidamente, e ficou óbvio que você precisa delegar funções e contratar pessoas rapidamente para sua própria equipe em seu escritório. Liguei para um amigo, ele largou o emprego e decidiu abrir o Lingvanex em março de 2019.

Até aquele momento, eu estava criando um projeto sem publicidade em nenhum lugar e, quando decidi montar minha equipe, encontrei um problema de pesquisa. Ninguém acreditava que isso pudesse ser feito, e não entendia o porquê. Eu tive que entrevistar muitas pessoas e cada uma falou por 3 horas sobre milhares de detalhes não óbvios. Quando o primeiro artigo sobre o projeto foi lançado, ficou mais fácil. Sempre me fizeram uma pergunta:

a primeira pergunta sempre soa "O que você é melhor que o Google?"

No momento, nosso objetivo é alcançar a qualidade da tradução do Google de um tema geral nos principais idiomas europeus e asiáticos e, posteriormente, fornecer soluções para:

1) A tradução de textos e sites por meio de nossa API é três vezes mais barata que a dos concorrentes, oferecendo excelente serviço de suporte e fácil integração. Por exemplo, o custo da tradução do Google é de US $ 20 por milhão de caracteres, o que é muito caro, com volumes significativos de

2) Tradução temática de alta qualidade de documentos sobre certos tópicos (medicina, metalurgia, direito, etc.) pela API, incluindo a integração em ferramentas para profissionais tradutores (como SDL Trados)

3) Integração nos processos de negócios das empresas para executar modelos de tradução em seus servidores sob nossa licença. Isso permite preservar a confidencialidade dos dados, não depender do volume do texto traduzido e otimizar a tradução para as especificidades de uma empresa em particular.

Você pode melhorar a qualidade da tradução que os concorrentes para tópicos ou pares de idiomas específicos. Você pode fazer qualquer coisa. Esta é uma questão de recursos da empresa. Com investimento suficiente, não há problema. O que e como fazer - sabe-se que você só precisa de mãos e dinheiro para trabalhar.

De fato, o mercado da PNL está crescendo muito rapidamente à medida que o reconhecimento, a análise de fala, a tradução automática melhoram e podem trazer bons lucros para uma equipe pequena. Todo o hype aqui começará em 2-3 anos, quando a promoção de mercado de hoje por grandes empresas dará frutos. Uma série de fusões / aquisições começará. O principal neste momento é ter um bom produto com um público que você possa vender.

Total


Durante todo o tempo, os aplicativos de teste arrecadaram mais de US $ 1 milhão, dos quais a maioria foi gasta na criação de seu próprio tradutor. Agora é óbvio que tudo poderia ser feito muito mais barato e melhor. Muitos erros de gerenciamento foram cometidos, mas isso é experiência, e então não havia ninguém com quem consultar. O artigo descreve uma parte muito pequena dessa história e, às vezes, pode não estar claro por que certas decisões foram tomadas. Faça perguntas nos comentários.

No momento, não alcançamos a qualidade da tradução do Google, mas não vejo problemas em fazer isso se a equipe tiver pelo menos alguns especialistas em Processamento de linguagem natural.
Agora, nosso tradutor funciona melhor do inglês para o alemão, espanhol e francês.

Links para novos programas que foram desenvolvidos ao longo de 3 anos e nos quais dinheiro foi investido. Se alguém quiser ver os aplicativos de teste antigos que foram discutidos no início do artigo (onde foi ganho dinheiro e 35 milhões de saltos) - escreva em um documento pessoal.

Tradutor para iOS


Tradutor para Android


Tradutor para Mac OS


Tradutor para Windows


Tradutor para Chrome


Tradutor para Telegrama



Este link pode ser encontrado

Demonstração da API de tradução



A equipe também precisa de um gerente de produto (aplicativos móveis) e um programador Python com experiência em projetos de PNL.Se

você tiver idéias para parcerias e ofertas conjuntas - escreva no PM, adicione ao Facebook, LinkedIn.

More articles:


All Articles