🗓️ 👉🏼 👍🏿 Cómo hicimos el primer piloto automático para una cosechadora de análisis de video en el mundo 🧜🏿 👨🏿‍🏫 🐹

Ese es todo el conjunto, si hay un bus CAN.

Hace solo cinco años, no había redes neuronales que funcionaran normalmente para la misma determinación de obstáculos y bordes de tallo, por lo tanto, tampoco había análisis de video. Hubo métodos GPS "ciegos", que en la práctica resultaron estar lejos de ser los mejores y amortiguaron en gran medida el prestigio de la automatización en la agricultura. En cinco años, creemos que todas las cosechadoras se automatizarán con precisión mediante pilotos automáticos visuales para mirar desde la cabina y hacia los lados y controlar todos los aspectos de la cosecha.

Estamos en el momento en que ya tenemos tecnologías listas para usar, están bien probadas, son baratas y tienen experiencia operativa anual, y las grandes cosechadoras las miran con interés. Lo más probable es que sea como con las radios de los automóviles: primero se colocan en los automóviles y luego los automóviles vienen con los ya incorporados. Así que ahora estamos modificando las cosechadoras antiguas, pero queremos ocupar un lugar en el ecosistema y poner el complejo en todas las nuevas.

Tal proyecto podría comenzar en nuestro país, en Brasil e incluso en un par de países debido a las características específicas del mercado. Necesitamos un país con agricultura, desarrolladores dentro, cosecha ineficiente (es decir, un claro dolor para ahorrar) y una nueva flota de cosechadoras. Tuvimos suerte con todo, incluido el parque: después de la URSS, todo se vino abajo, y ahora estamos viendo autos hace unos cuatro o cinco años en las granjas principales.

Hay 350 mil cosechadoras en Rusia, y otras 35 mil se entregan anualmente. Esto no es un mercado de automóviles, por supuesto, pero al tomar la decisión correcta ahora, mientras nadie ha venido, puede obtenerlo todo.

Pero digamos mejor cómo funciona y cómo modificamos las cosechadoras en Rusia.

imagen

¿Cómo es el día de trabajo del operador combinado con nuestro Agro Pilot?

El operador combinado, el operador o el operador de la máquina, llega a las siete de la mañana en el campo. Si este no es el primer día, entonces el automóvil ya está directamente en medio de los cultivos. Los ajustes se realizan para la siguiente sección, calentamiento. A las nueve de la mañana el rocío sale de los campos, puede comenzar. Debes terminar en la oscuridad cuando la humedad vuelva a subir. No puedes trabajar bajo la lluvia. En aproximadamente dos semanas, debe tener tiempo para recolectar todo el grano antes de que se vierta y se derrame al suelo: cuanto más lejos, mayores serán las pérdidas. No puede comenzar antes: el grano aún no ha madurado. Por lo tanto, es precisamente en este pico de cargas que cualquier simple, cualquier error o accidente es muy costoso.

El cambio dura hasta 14 horas de trabajo monótono. El operador necesita:

, . . .
: , 20–22 , . , . .
— .
— .
.

Aquí, mi colega Eduard habló con más detalle sobre las características de por qué, al final, los operadores se centran solo en el rodaje , dejan la configuración predeterminada en el mecanismo de recolección y, a menudo, pierden el soporte de la línea eléctrica o el tractor al frente y chocan en el décimo turno.

Un breve resumen: una persona puede dirigir o controlar la calidad de la limpieza. Resulta mal conducir, porque la cosechadora tiene una dimensión de 12 metros a lo largo del cabezal, y a menudo quedan grandes franjas cortadas debido a giros imperfectos.

Si elimina la carga en el rodaje, de repente la cosecha de granos aumenta milagrosamente. En nuestra práctica, el año pasado desde el mismo sitio, en un 3% debido al hecho de que el operador tiene la oportunidad de ver con mayor precisión lo que está sucediendo en el futuro. Y alrededor de un 3-5% más, debido a la retención de la captura sin "ombligos" y grandes piezas cortadas. Además no hay accidentes.

En general, esto es algo muy necesario que se hubiera implementado durante mucho tiempo si hubiera existido una posibilidad técnica.

Oportunidad técnica apareció

Esto es lo que hace el piloto automático: es decir:

La cosechadora se maneja como debería, de acuerdo con las características del crecimiento de la cultura actual y cómo le fue a la cosechadora.
Le permite trabajar juntos en una flota mixta: tanto para aquellos autos que tienen piloto automático como con control manual. El piloto automático no hace ninguna diferencia.
Mantiene muy claramente la distancia entre los pasillos, asegurando un mínimo de corte.
Busca obstáculos, los clasifica y decide qué hacer: dar la vuelta, reducir la velocidad o, cuando hay tiempo, avisar al operador.
Soporte para una velocidad óptima para una situación específica. Existe tal característica: para que la cosechadora limpie limpiamente, debe mantener el intervalo de 6 a 6.5 kilómetros por hora para, por ejemplo, trigo en un modelo específico. Si cruzamos esta línea, entonces la masa será más grande, los azotes dejarán de eliminar todos los granos y, además, las pérdidas aumentarán exponencialmente desde la velocidad: siete kilómetros - 0.2%, ocho - 0.5%, y así sucesivamente.

Evaluación agrotécnica de una de las cosechadoras según los resultados de las pruebas de laboratorio.

Cómo la velocidad afecta el rendimiento de la colección



	1			2			3

, /	4,1	5,4	6,3	4,5	5,6	7	2,8	3,6	4,3
,	4,8
,	14			23			6

:
— ,	—	13	13	22	22	22	5	5	5
	—	1,4	1,42	1,65	1,86	3,37	1,35	1,47	1,19
— ,	—	9,6	9,5	8	8,6	14,8	12,2	12,1	9,4

— , %
20%, , %	—	0,13	0,17	0,27	0,35	0,36	0,56	0,62	0,74
:
—	—	0,08	0,11	0,2	0,24	0,25	0,29	0,32	0,31
—	—	0,05	0,06	0,07	0,11	0,11	0,24	0,27	0,4
—	—	0	0	0	0	0	0,03	0,03	0,03
, /	10,7	15,3	16,1	2,7	3,4	4,5	3,6	4,1	6,1
, /	5,28	6,75	7,72	2,09	2,68	4,84	4	5,3	7
, /	3,85	4,15	5,37	2,23	2,87	5,99	5	7	8,7
, , %,	0,83	0,93	1,01	0,39	0,44	0,5	0,33	0,49	0,53
:	0,24	0,37	0,42	0,27	0,32	0,37	0,26	0,42	0,45
—	0,24	0,37	0,42	0,27	0,32	0,37	0,26	0,42	0,45
—	0,43	0,41	0,45	0			0
— -	—	0,003	—
— , %	0,16	0,15	0,14	0,12	0,12	0,13	0,06	0,07	0,08
, %:
—	1,56	1,5	1,41	1,18	1,2	1,27	0,62	0,6911,27	0,83
—	0,42	0,5	0,57	0,88	0,89	1,09	1,32	98,04	1,72
— ()	98,02	98	98,02	97,94	97,91	97,64	98,06		97,45
,	1052	1048	1063

La función principal de nuestro equipo ahora no es la conducción automática, sino la exclusión del factor humano del trabajo del operador. El conjunto básico de nuestros equipos ayuda a eliminar la recesión de los segadores y las corridas innecesarias.

¿Qué hay en el relleno?

1. Cámara de 2 MP en el soporte del espejo. Nos centramos solo en la cámara: este es el sensor principal. No se requiere nada más.

imagen

2. Pantalla de la cabina: esta es la interfaz para el operador. A través de él, se realizan advertencias y configuraciones.

imagen

3. Unidad de control debajo de la cabina: hay NVIDIA TX2. La pila del algoritmo principal gira allí, el video se procesa y desde allí se emiten comandos al bus CAN.

imagen

Bloque 340x290x60 mm, 40 vatios.

imagen

El módulo para emitir comandos está conectado al bus CAN u otra entrada / salida del sistema de la cosechadora. Hay un par de emboscadas, en particular, con el hecho de que no en todas partes es posible, y no en todas partes es posible el control hidráulico a través de esta interfaz.

En el caso de la cosechadora de los últimos cinco años de producción, esto es casi siempre todo: una caja con cerebro, una cámara, una pantalla en la cabina.

Se necesita el sensor de rotación de la rueda en caso de que la cosechadora sea vieja o no esté preparada, y no podamos obtener estos datos del bus del sistema. Necesitamos datos para la odometría (velocidad y ángulo de rotación de las ruedas):

imagen

nuestro copiloto necesita la bomba dosificadora en el sistema hidráulico para controlar directamente la hidráulica:

imagen

La primera emboscada con el bus CAN es que no siempre hay documentación clara. En teoría, existen otras opciones para recibir señales del autobús, pero en la práctica en Rusia son casos muy raros. En general, en el mejor de los casos hay algún tipo de API del sistema y un orificio para cable. En un caso simple, contactamos al fabricante de este agujero y le pedimos una descripción del protocolo. Después de un par de semanas de negociaciones, entienden quiénes somos y qué necesitamos, y envían. No todos perciben esto simplemente, pero los grandes productores están en parte contentos con nosotros porque saben que el año pasado pusimos nuestras soluciones en varias granjas y complejos agrícolas grandes, lo que causó un poco de ruido en los medios.

Y a menudo preguntan de inmediato si nuestras tecnologías pueden integrarse en la cosechadora del futuro. Esta es una historia separada, pero como resultado de la primera parte, tenemos un protocolo, y todo está bien.

En un mundo ideal, ese sería el final. Desafortunadamente, a veces todavía hay casos en los que no hay documentación o el fabricante no puede obtener una descripción clara. En este caso, conectamos e invertimos el bus. Por supuesto, hay un protocolo J1939 que los fabricantes deben seguir, pero no todos lo hacen. Por lo general, se conecta con la utilidad de depuración, obtiene todos los paquetes con variables y simplemente se sienta con el operador haciendo clic en los botones. Fui, en algún lugar cero se convirtió en un número positivo. Acelerado: el número ha aumentado. Disminuyó la velocidad - disminuyó. Si, la velocidad es. Y así, todo el día. A continuación, debe detectar la correlación y seleccionar los factores de conversión. Una vez detectamos un error muy desagradable con lo que funcionó en el sitio de prueba, pero no en el campo. La cosechadora en modo paz envió algunos paquetes,y con el segador y el carrete encendidos, entró en un modo de combate especial y comenzó a enviar sus mensajes de combate especiales en los mismos paquetes capturados. Tuvimos que recopilar señales de datos de formas infernales. Al final resultó que, el encabezado dio su información normalmente a los mismos paquetes en las mismas variables, y el diseñador del bus optimizó todo esto para no establecer nuevas variables. Probablemente, participe en la competencia de 256b-intro en su tiempo libre.

También hubo sorpresas en la hidráulica. Aunque Danfoss está en los socios, aunque ayudaron a todos lo más posible y dieron esquemas detallados, todo se puede verificar solo iniciando la cosechadora. En algún lugar, los componentes se ubicaron ligeramente en la frontera, por lo que el sistema para el cliente llegó a la cosecha (y este es solo uno de los casos). Es decir, era necesario montarlo todo por la noche, arrancar, verificar y, si al menos algo está mal, retirarlo para que la cosechadora pueda usarse más por la mañana. Llegamos a las ocho de la noche y comenzamos a chamán con hidráulica. Terminamos la primera instalación a las cuatro de la mañana. No sabían si comenzaría o no. Si no funciona, será necesario desmontar y volver a su estado normal. En marcha, funciona. Dirige como debería. Este es el hola mundo más genial de nuestra vida. No me imaginaba trabajando con redes neuronales, pero sin ellas.

Puede agregar un módem celular para enviar telemetría al kit. Sin embargo, el kit no necesita GPS. Esta es una gran ventaja. Para que la conducción de GPS normal funcione normalmente, debe realizar un mapa con anticipación, configurar una estación RTK para las correcciones, o comprar un paquete de señal, etc. Y aún presionan botones y menús, y a los operadores de máquinas realmente no les gustan las interfaces de usuario. Tenemos una cámara-caja-abordada-vamos. No es necesario mapear el campo para cortarlo en corrales. Necesitas conducir al campo. El robot dirá: "¡Oh, salud, campo!" Y solo vete.

¿Por qué solo una cámara de conducción?

En 2014, obtuvimos una subvención científica para un prototipo de un sistema integrado de gestión de empresas agrícolas con IA. Nos sumergimos en el negocio de los productores agrícolas y observamos los puntos más obvios de automatización. Rusia es una cosecha muy arriesgada (una cosecha por año y cinco en Brasil). Cultiva un campo durante todo un año: semillas costosas (este es el más caro), luego espolvorea con productos químicos costosos (segundo elemento de gasto), realiza un ciclo de trabajo para preparar el suelo y los cultivos. Este es un año completo de marzo a otoño. Y solo en el otoño tienes dos semanas cuando necesitas cosechar. Si algo sale mal, entonces un plus o menos al día puede ser una pérdida de rendimiento del 10%.

La cosechadora no salió, la cosechadora se lavó, bizqueó torcidamente, se rompió a lo largo del camino. Todo, simple por horas y días.

Fue con el reconocimiento de los obstáculos que comenzamos. Inmediatamente apareció un LIDAR, pero es caro, por lo que la cámara. Una vez que una monocámara, debe reconocer las imágenes de inmediato. Porque no solo necesita ver, sino también comprender qué es, de qué tamaño es, cómo se comporta, qué esperar. Nos quedamos quietos o avanzamos, pero necesita saber la distancia relativa al objeto y aún recordar el encabezado de 7.5 o 9 metros en diferentes direcciones (y esto no es el máximo, a menudo en modelos en ejecución también hay 12-13 metros). De todos modos, en tales dimensiones, es posible moler accidentalmente un operador de tractor o una máquina de reabastecimiento de combustible por una pequeña necesidad en un giro en U.

imagen

Las redes neuronales hacen un excelente trabajo. Pero aún así, dado que tenemos una monocámara, puede engañar el algoritmo con un modelo combinado 1:40 en casos excepcionales (porque también puede obtener geometría de una monocámara en movimiento). Pero tales rara vez se encuentran en el campo.

En el maíz (tallo de tres metros), es importante buscar pilares, por ejemplo. Dado que teníamos una definición de que aquí hay cultura y qué es un obstáculo, podríamos distinguir aún más dónde está la cultura.

imagen

Y este es el piloto automático de segundo nivel:

imagen

Fue muy difícil con la cultura misma. En las primeras iteraciones de los viajes, llegamos al campo para una nueva cultura o una específica que parecía específica. El agrónomo mal vigilado, por ejemplo, no roció a tiempo. Bajo cultivo con malezas: la red neuronal no come. Una vez fue que vinimos a la granja para hacer pruebas. Y hay un clima muy diferente, y la cebada no se parece en nada al libro de referencia del agrónomo. Y en nuestra segmentación no reconoce las partes cortadas y biseladas correctamente. Había pocos datos para la muestra de entrenamiento, pero nosotros mismos los fotografiamos. Todo el día hasta la noche, recorrimos los campos con un operador de máquina, tomamos una nueva muestra. Se sentaron en el hotel por la noche con su personal para marcar estos datos. Poner en red de reciclaje. Al día siguiente, todo entró en un nuevo campo.

Así es como puede agregar la muestra de destino:

imagen

Según Eduard, quien explica esto a los agricultores, las personas entienden perfectamente que la limpieza es el punto principal de la automatización. Allí se alimenta el día al año. Y están intentando con todas sus fuerzas excluir los errores humanos. Al final, estamos de acuerdo en una "mirada". Antes de que llegue la temporada, nuestro grupo de servicio o distribuidores, instale todo. Luego realice una verificación de calibración. O, antes del período de cosecha, se calibran inmediatamente, tomará un día y medio.

Si es interesante, puedo contarles más adelante sobre las características de reconocimiento de todo lo que se encuentra en los campos, o sobre cómo recolectamos maravillosamente muestras de entrenamiento, porque las terminadas son desagradables y no son adecuadas para las condiciones rusas. Esto también se debe al hecho de que somos los primeros en hacer algo con este tema en todo el mundo y, por lo tanto, todavía no hay prácticas establecidas.

PD: Si su ingeniero agrónomo no está en Habré, y él está interesado, puede encontrar contactos aquí: promo.cognitivepilot.com y discutir sustantivamente qué combinación de equipo específico se necesita, cuánto cuesta y cómo puede verlo rápidamente. experimentar.

Cómo hicimos el primer piloto automático para una cosechadora de análisis de video en el mundo

Oportunidad técnica apareció

¿Qué hay en el relleno?

¿Por qué solo una cámara de conducción?

More articles: