Get best of the week

Como fizemos o primeiro piloto automático para uma colheitadeira combinada em análise de vídeo no mundo

imagem
Esse é o conjunto, se houver um barramento CAN.

Apenas cinco anos atrás, não havia redes neurais funcionando normalmente para a mesma determinação de obstáculos e arestas de caule, portanto, também não havia análise de vídeo. Havia métodos GPS “cegos”, que na prática estavam longe de ser os melhores e diminuíram muito o prestígio da automação na agricultura. Em cinco anos, acreditamos que todas as combinações serão automatizadas precisamente por pilotos automáticos visuais para olhar da cabine e para os lados e controlar todos os aspectos da colheita.

Estamos no momento em que já possuímos tecnologias prontas, elas são bem testadas, baratas e têm experiência operacional anual, e as colheitadeiras combinadas grandes olham para elas com interesse. Provavelmente, será como nos rádios: primeiro eles são colocados em carros e depois os carros vêm com os já incorporados. Agora, estamos modificando antigas combinações, mas queremos ocupar um lugar no ecossistema e colocar o complexo em todas as novas.

Esse projeto poderia começar em nosso país, no Brasil e até em alguns países devido às especificidades do mercado. Precisamos de um país com agricultura, desenvolvedores internos, colheita ineficiente (isto é, uma dor evidente para economizar) e uma nova frota de colheitadeiras. Tivemos sorte com tudo, incluindo o parque: depois da URSS, tudo desmoronou e agora estamos vendo carros há cerca de quatro a cinco anos atrás nas principais fazendas.

Existem 350 mil colheitadeiras na Rússia e outras 35 mil são entregues anualmente. É claro que este não é um mercado de carros, mas tomando a decisão certa agora, enquanto ninguém chegou lá, você pode obter tudo.

Mas vamos dizer melhor como ele funciona e como modificamos as combinações na Rússia.

imagem
Como é o dia útil do operador da colheitadeira com o nosso Agro Pilot.

O operador da colheitadeira - o operador ou operador da máquina - chega às sete da manhã no campo. Se este não for o primeiro dia, o carro já estará diretamente no meio das lavouras. As configurações são feitas para a próxima seção, aquecendo. Às nove da manhã, o orvalho sai dos campos, você pode começar. Você precisa terminar no escuro quando a umidade subir novamente. Você não pode trabalhar na chuva. Em cerca de duas semanas, você precisa ter tempo para coletar todo o grão antes que ele derrame e derrame no chão: quanto mais longe, maiores as perdas. Você não pode começar mais cedo: o grão ainda não amadureceu. Portanto, é exatamente nesse pico de carga que qualquer simples, qualquer erro ou acidente é muito caro.

A mudança dura até 14 horas de trabalho monótono. O operador precisa:

  • , . . .
  • : , 20–22 , . , . .
  • — .
  • — .
  • .

Aqui, meu colega Eduard falou com mais detalhes sobre os recursos de por que, no final, os operadores se concentram apenas em taxiar , deixam as configurações padrão no mecanismo de coleta e geralmente pulam o suporte da linha de força ou o trator na frente e colidem no 10º turno.

Um breve resumo: uma pessoa pode dirigir ou monitorar a qualidade da limpeza. A direção é ruim, porque a ceifeira-debulhadora tem uma dimensão de 12 metros ao longo do cabeçalho, e muitas vezes grandes faixas cortadas permanecem devido a curvas imperfeitas.

Se você remover a carga no táxi, de repente a colheita de grãos aumenta milagrosamente. Em nossa prática, no ano passado, no mesmo local - em 3%, devido ao fato de o operador ter a oportunidade de analisar com mais precisão o que está acontecendo no futuro. E cerca de 3-5% a mais - devido à retenção da captura sem "umbigos" e grandes partes cortadas. Além disso, sem acidentes.

Em geral, isso é uma coisa muito necessária que seria implementada há muito tempo se houvesse uma possibilidade técnica.

Oportunidade técnica apareceu


Aqui está o que o piloto automático faz:

imagem

Isso é:

  • A colheitadeira está dirigindo como deveria, de acordo com as características do crescimento da cultura atual e como as colheitadeiras foram para ela.
  • Ele permite que você trabalhe em conjunto com uma frota mista: tanto para os carros com piloto automático quanto com controle manual. O piloto automático não faz diferença.
  • Muito claramente mantém a distância entre os corredores, garantindo um mínimo de corte.
  • Ele procura por obstáculos, classifica-os e decide o que fazer: dar voltas, desacelerar ou, enquanto houver tempo, avisar o operador.
  • Suporte para velocidade ideal para uma situação específica. Existe uma característica: para a colheitadeira limpar de maneira limpa, é necessário manter o intervalo de 6 a 6,5 ​​quilômetros por hora para, digamos, trigo em um modelo específico. Se cruzarmos essa linha, o volume da massa será maior, os flagelos pararão de nocautear todos os grãos e as perdas aumentarão exponencialmente com a velocidade: sete quilômetros - 0,2%, oito - 0,5% e assim por diante.

Avaliação agrotécnica de uma das colheitadeiras de acordo com os resultados dos testes de laboratório
Como a velocidade afeta o desempenho da coleção
123
, /4,15,46,34,55,672,83,64,3
,4,8
,14236
:
— ,—1313222222555
—1,41,421,651,863,371,351,471,19
— ,—9,69,588,614,812,212,19,4
— , %
20%, , %—0,130,170,270,350,360,560,620,74
:
——0,080,110,20,240,250,290,320,31
——0,050,060,070,110,110,240,270,4
——000000,030,030,03
, /10,715,316,12,73,44,53,64,16,1
, /5,286,757,722,092,684,8445,37
, /3,854,155,372,232,875,99578,7
, , %,0,830,931,010,390,440,50,330,490,53
:0,240,370,420,270,320,370,260,420,45
—
—0,430,410,4500
— -—0,003—
— , %0,160,150,140,120,120,130,060,070,08
, %:
—1,561,51,411,181,21,270,620,6911,270,83
—0,420,50,570,880,891,091,3298,041,72
— ()98,029898,0297,9497,9197,6498,0697,45
,105210481063



A principal função de nossos equipamentos agora não é a direção automática, mas a exclusão do fator humano do trabalho do operador. O conjunto básico de nossos equipamentos ajuda a eliminar a recessão de ceifeiras e execuções desnecessárias.

O que há no recheio


1. Câmera de 2 MP no suporte de espelho. Focamos apenas na câmera: este é o sensor principal. Nada mais é necessário.

imagem

2. Visor da cabine: esta é a interface para o operador. Através dele, são feitos avisos e configurações.

imagem

3. Unidade de controle embaixo da cabine: existe o NVIDIA TX2. A pilha principal do algoritmo gira lá, o vídeo é processado e a partir daí são emitidos comandos para o barramento CAN.

imagem

Bloco 340x290x60 mm, 40 watts.

imagem

O módulo para emissão de comandos está conectado ao barramento CAN ou a outra entrada / saída do sistema da colheitadeira. Há algumas emboscadas, em particular, com o fato de que nem todos os lugares são possíveis e nem todo lugar é possível o controle hidráulico por meio dessa interface.

No caso da colheitadeira dos últimos cinco anos de produção, isso quase sempre é tudo: uma caixa com cérebro, uma câmera, uma exibição na cabine.

O sensor de rotação da roda é necessário caso a colheitadeira seja antiga ou sem preparação, e não podemos obter esses dados no barramento do sistema. Precisamos de dados para odometria (velocidade e ângulo de rotação das rodas):

imagem

A bomba dosadora no sistema hidráulico é necessária para controlar diretamente a hidráulica pelo nosso copiloto:

imagem

A primeira emboscada com o barramento CAN é que nem sempre existe uma documentação clara. Em teoria, existem outras opções para receber sinais do barramento, mas na prática na Rússia esses são casos muito raros. Em geral, na melhor das hipóteses, existe algum tipo de API do sistema e um orifício para o cabo. Em um caso simples, contatamos o fabricante desse orifício e solicitamos uma descrição do protocolo. Depois de algumas semanas de negociações, eles entendem quem somos e do que precisamos e enviam. Nem todo mundo percebe isso de forma simples, mas os grandes produtores estão parcialmente felizes conosco, porque sabem que no ano passado colocamos nossas soluções em várias fazendas e grandes complexos agrícolas, o que causou um pouco de ruído na mídia.

E muitas vezes perguntam imediatamente se nossas tecnologias podem ser integradas na colheitadeira do futuro. Esta é uma história separada, mas como resultado da primeira parte, temos um protocolo e está tudo bem.

Em um mundo ideal, isso seria o fim. Infelizmente, algumas vezes ainda existem casos em que não há documentação ou o fabricante não consegue obter uma descrição clara. Nesse caso, conectamos e invertemos o barramento. Obviamente, existe um protocolo J1939 que os fabricantes devem seguir, mas nem todos o fazem. Normalmente, você se conecta ao utilitário de depuração, obtém todos os pacotes com variáveis ​​e apenas senta com o operador clicando nos botões. Eu fui - em algum lugar zero se tornou um número positivo. Acelerado - o número aumentou. Abrandou - diminuiu. Sim, a velocidade é. E assim - o dia todo. Em seguida, você precisa capturar a correlação e selecionar os fatores de conversão. Certa vez, detectamos um bug muito desagradável com o que funcionava no local de teste, mas não no campo. O harvester no modo de paz enviou alguns pacotes,e com o ceifador e o carretel ligados, ele entrou em um modo de combate especial e começou a enviar suas mensagens de combate especiais nos mesmos pacotes capturados. Tivemos que coletar sinais de dados de maneiras infernais. Como se viu, o cabeçalho dava suas informações normalmente aos mesmos pacotes nas mesmas variáveis, e o designer do barramento otimizava tudo isso de maneira descontrolada, para não definir novas variáveis. Provavelmente, ele participa da competição 256b-intro em seu tempo livre.

Também houve surpresas no sistema hidráulico. Embora a Danfoss esteja nos parceiros, apesar de terem ajudado a todos o máximo possível e terem fornecido esquemas detalhados, tudo pode ser verificado apenas iniciando a combinação. Em algum lugar, os componentes ficaram levemente na fronteira, então o sistema para o cliente chegou à colheita (e este é apenas um dos casos). Ou seja, era necessário montá-lo à noite, iniciar, verificar e, se pelo menos alguma coisa estivesse errada, removê-lo para que a colheitadeira pudesse ser usada ainda mais pela manhã. Chegamos às oito da noite e começamos a xamã com hidráulica. Terminamos a primeira instalação às quatro da manhã. Eles não sabiam se começaria ou não. Se não der certo, será necessário desmontar e retornar ao seu estado normal. Iniciado - funciona. Dirige como deveria. Este é o mundo olá mais legal da nossa vida. Eu não imaginava trabalhar com redes neurais, mas onde sem ela.

Você pode adicionar um modem celular para enviar telemetria ao kit. No entanto, o kit não precisa de GPS. Esta é uma enorme vantagem. Para que a condução normal do GPS funcione normalmente, é necessário mapear com antecedência, configurar uma estação RTK para correções ou comprar um pacote de sinais e assim por diante. E ainda pressione botões e menus, e os operadores da máquina realmente não gostam das interfaces do usuário. Temos uma câmera com caixa de cartão, vamos lá. Não é necessário mapear o campo para cortá-lo em canetas. Você precisa dirigir para o campo. O robô dirá: "Oh, saúde, campo!" E apenas vá.

Por que apenas uma câmera de condução


Em 2014, fizemos uma doação científica para um protótipo de um sistema integrado de gerenciamento de empresas agrícolas usando IA. Mergulhamos nos negócios dos produtores agrícolas e analisamos os pontos mais óbvios da automação. A Rússia é uma colheita muito arriscada (uma colheita por ano e cinco no Brasil). Você cultiva um campo por um ano inteiro: sementes caras (essa é a mais cara), depois asperge com produtos químicos caros (item de segunda despesa) e realiza um ciclo de trabalho na preparação do solo e das culturas. Este é um ano inteiro de março a outono. E somente no outono você tem duas semanas quando precisa colher. Se algo der errado, um mais ou menos um dia pode ser uma perda de rendimento de 10%.

A colheitadeira não saiu, a colheitadeira lavou-se, torceu os olhos - quebrou ao longo da estrada. Tudo, simples por horas e dias.

Foi com o reconhecimento dos obstáculos que começamos. Imediatamente surgiu um lidar, mas é caro, então a câmera. Uma vez que uma monocâmera - você precisa reconhecer imediatamente as imagens. Porque você precisa não apenas ver, mas também entender o que é, qual o tamanho, como se comporta, o que esperar. Nós paramos ou avançamos, mas você precisa saber a distância relativa ao objeto e ainda se lembrar do cabeçalho de 7,5 ou 9 metros em direções diferentes (e isso não é o máximo, geralmente nos modelos em execução também existem 12 a 13 metros). Mesmo assim, nessas dimensões, é possível moer acidentalmente um operador de trator ou uma máquina de reabastecimento devido a uma pequena necessidade em um promontório.

imagem

As redes neurais fazem um excelente trabalho. Mas ainda assim, como temos uma monocâmera, você pode enganar o algoritmo com um modelo de combinação 1:40 em casos raros (porque você também pode obter geometria de uma monocâmera em movimento). Mas esses raramente aparecem no campo.

No milho (caule de três metros), é importante procurar pilares, por exemplo. Como tínhamos uma definição de que aqui é cultura e o que é um obstáculo, poderíamos distinguir ainda mais onde é o que é cultura.

imagem

E este é o piloto automático de segundo nível:

imagem

imagem

Foi muito difícil com a própria cultura. Nas primeiras iterações das viagens, chegamos ao campo para uma nova cultura ou uma cultura específica que parecia específica. O engenheiro agrônomo mal assistido, por exemplo, não pulverizou a tempo. Baixa colheita com ervas daninhas - a rede neural não come. Uma vez chegamos à fazenda para testar. E existe um clima nitidamente diferente, e a cevada não se parece em nada no livro de referência do engenheiro agrônomo. E em nossa segmentação não reconhece as peças cortadas e chanfradas corretamente. Havia poucos dados para a amostra de treinamento, mas nós mesmos os filmamos. Durante todo o dia, até a noite, cavalgamos pelos campos com um operador de máquina e coletamos uma nova amostra. Eles se sentaram no hotel à noite com sua equipe para marcar esses dados. Coloque na rede de reciclagem. No dia seguinte, tudo entrou em um novo campo.

É assim que você pode adicionar a amostra de destino:

imagem

Segundo Eduard, que explica isso aos agricultores, as próprias pessoas entendem perfeitamente que a limpeza é o principal ponto da automação. Alimenta o dia por ano. E eles estão tentando, com todas as suas forças, excluir erros humanos. No final, concordamos com um "olhar". Antes da temporada chegar, nosso grupo ou revendedores de serviços, instale tudo. Em seguida, execute uma verificação de calibração. Ou, antes do período de colheita, eles são calibrados imediatamente, levará um dia e meio.

Se for interessante, posso falar mais tarde sobre os recursos de reconhecimento de tudo o que é encontrado nos campos ou sobre como coletamos maravilhosamente amostras de treinamento, porque os finalizados são repugnantes e não são adequados para as condições russas. Isso também se deve ao fato de sermos os primeiros a fazer algo com esse tópico em todo o mundo e, portanto, ainda não existem práticas estabelecidas.

PS Se o seu engenheiro agrônomo não estiver em Habré e ele estiver interessado, você poderá encontrar contatos aqui: promo.cognitivepilot.com e discutir de maneira substantiva para quais combinações qual conjunto específico de equipamento é necessário, quanto custa e como você pode vê-lo rapidamente. experimentar.

More articles:


All Articles