🧑🏿‍🤝‍🧑🏽 🍫 👼🏽 Comment nous avons fait du pilote automatique de la moissonneuse-batteuse sur analyse vidéo le premier au monde 👧 👩‍✈️ 🐘

C'est tout, s'il y a un bus CAN.

Il y a seulement cinq ans, il n'existait pas de réseaux de neurones fonctionnant normalement pour la même détermination des obstacles et des bords des tiges, il n'y avait donc pas non plus d'analyse vidéo. Il existait des méthodes GPS «aveugles» qui, dans la pratique, se sont révélées loin d'être les meilleures et ont considérablement entamé le prestige de l'automatisation dans l'agriculture. Dans cinq ans, nous pensons que toutes les moissonneuses-batteuses seront automatisées avec précision par des pilotes automatiques visuels pour regarder du cockpit et sur les côtés et contrôler tous les aspects de la récolte.

Nous sommes au moment où nous avons déjà des technologies toutes faites, elles sont bien testées, bon marché et ont une expérience d'exploitation annuelle, et les grandes moissonneuses-batteuses les regardent avec intérêt. Très probablement, ce sera comme avec les autoradios: ils sont d'abord placés dans des voitures, puis les voitures sont déjà intégrées. Nous modifions donc les anciennes moissonneuses-batteuses, mais nous voulons prendre une place dans l'écosystème et mettre le complexe sur toutes les nouvelles.

Un tel projet pourrait démarrer dans notre pays, au Brésil, et même dans quelques pays en raison des spécificités du marché. Nous avons besoin d'un pays avec de l'agriculture, des développeurs à l'intérieur, une récolte inefficace (c'est-à-dire une douleur évidente à économiser) et une nouvelle flotte de moissonneuses-batteuses. Nous avons eu de la chance avec tout, y compris le parc: après l'URSS, tout s'est effondré, et maintenant nous voyons des voitures il y a environ quatre à cinq ans dans les principales fermes.

Il y a 350 000 moissonneuses-batteuses en Russie et 35 000 autres sont livrées chaque année. Ce n'est pas un marché automobile, bien sûr, mais en prenant la bonne décision maintenant, alors que personne n'y est venu, vous pouvez tout obtenir.

Mais disons mieux comment cela fonctionne et comment nous modifions les moissonneuses-batteuses en Russie.

Comment est la journée de travail de l'opérateur de moissonneuse-batteuse avec notre Agro Pilot.

L'opérateur de la moissonneuse-batteuse - l'opérateur ou l'opérateur de la machine - arrive à sept heures du matin sur le terrain. Si ce n'est pas le premier jour, alors la voiture est déjà directement au milieu des cultures. Les réglages sont effectués pour la section suivante, l'échauffement. A neuf heures du matin, la rosée quitte les champs, vous pouvez commencer. Vous devez terminer dans l'obscurité lorsque l'humidité augmente à nouveau. Vous ne pouvez pas travailler sous la pluie. Dans environ deux semaines, vous devez avoir le temps de collecter tout le grain avant qu'il ne se déverse et ne se déverse sur le sol: plus loin, plus les pertes sont importantes. Vous ne pouvez pas commencer plus tôt: le grain n'a pas encore mûri. C'est donc précisément à ce pic de charges que toute simple, toute erreur ou accident coûte très cher.

Le changement dure jusqu'à 14 heures de travail monotone. L'opérateur a besoin:

, . . .
: , 20–22 , . , . .
— .
— .
.

Ici, mon collègue Eduard a expliqué plus en détail les raisons pour lesquelles, en fin de compte, les opérateurs se concentrent uniquement sur le roulage , laissent les paramètres par défaut dans le mécanisme de collecte et manquent souvent le support de ligne électrique ou le tracteur à l'avant et s'écrasent dans le 10e quart de travail.

Un bref résumé: une personne peut soit diriger, soit contrôler la qualité du nettoyage. Il s'avère mal diriger, car la moissonneuse-batteuse a une dimension de 12 mètres le long de la tête, et souvent de grandes rayures tondues restent dues à des virages imparfaits.

Si vous supprimez la charge de roulage, la récolte de céréales augmente soudainement miraculeusement. Dans notre cabinet, l'année dernière sur le même site - de 3% en raison du fait que l'opérateur a la possibilité de regarder plus précisément ce qui se passe. Et environ 3 à 5% de plus - grâce à la rétention de la capture sans "nombril" et grandes pièces tondues. Plus aucun accident.

En général, c'est une chose très nécessaire qui aurait longtemps été mise en œuvre s'il y avait eu une possibilité technique.

Une opportunité technique est apparue

Voici ce que fait le pilote automatique:

c'est-à-dire:

La moissonneuse-batteuse roule comme il se doit en fonction des caractéristiques de la croissance de la culture actuelle et de la façon dont les moissonneuses-batteuses y sont allées.
Il vous permet de travailler ensemble une flotte mixte: à la fois pour les voitures qui ont un pilote automatique, et avec un contrôle manuel. Le pilote automatique ne fait aucune différence.
Maintient très clairement la distance entre les allées, assurant un minimum de tonte.
Il recherche les obstacles, les classe et décide quoi faire: contourner, ralentir ou, le temps venu, avertir l'opérateur.
Prise en charge d'une vitesse optimale pour une situation spécifique. Il y a une telle fonctionnalité: pour que la moissonneuse nettoie proprement, vous devez maintenir l'intervalle de 6 à 6,5 kilomètres par heure pour, disons, le blé sur un modèle spécifique. Si nous traversons cette ligne, alors la masse sera plus grande, les fléaux cesseront d'éliminer tous les grains, et les pertes augmenteront de façon exponentielle à partir de la vitesse: sept kilomètres - 0,2%, huit - 0,5%, etc.

Évaluation agrotechnique de l'une des moissonneuses-batteuses en fonction des résultats des essais en laboratoire sur le terrain

Comment la vitesse affecte les performances de collecte



	1			2			3

, /	4,1	5,4	6,3	4,5	5,6	7	2,8	3,6	4,3
,	4,8
,	14			23			6

:
— ,	—	13	13	22	22	22	5	5	5
	—	1,4	1,42	1,65	1,86	3,37	1,35	1,47	1,19
— ,	—	9,6	9,5	8	8,6	14,8	12,2	12,1	9,4

— , %
20%, , %	—	0,13	0,17	0,27	0,35	0,36	0,56	0,62	0,74
:
—	—	0,08	0,11	0,2	0,24	0,25	0,29	0,32	0,31
—	—	0,05	0,06	0,07	0,11	0,11	0,24	0,27	0,4
—	—	0	0	0	0	0	0,03	0,03	0,03
, /	10,7	15,3	16,1	2,7	3,4	4,5	3,6	4,1	6,1
, /	5,28	6,75	7,72	2,09	2,68	4,84	4	5,3	7
, /	3,85	4,15	5,37	2,23	2,87	5,99	5	7	8,7
, , %,	0,83	0,93	1,01	0,39	0,44	0,5	0,33	0,49	0,53
:	0,24	0,37	0,42	0,27	0,32	0,37	0,26	0,42	0,45
—	0,24	0,37	0,42	0,27	0,32	0,37	0,26	0,42	0,45
—	0,43	0,41	0,45	0			0
— -	—	0,003	—
— , %	0,16	0,15	0,14	0,12	0,12	0,13	0,06	0,07	0,08
, %:
—	1,56	1,5	1,41	1,18	1,2	1,27	0,62	0,6911,27	0,83
—	0,42	0,5	0,57	0,88	0,89	1,09	1,32	98,04	1,72
— ()	98,02	98	98,02	97,94	97,91	97,64	98,06		97,45
,	1052	1048	1063

La fonction principale de nos équipements n'est plus la conduite automatique, mais l'exclusion du facteur humain du travail de l'opérateur. L'ensemble de base de notre équipement aide à éliminer la récession des moissonneuses et les courses inutiles.

Que contient la farce

1. Appareil photo 2 MP sur le support du miroir. Nous nous concentrons uniquement sur la caméra: c'est le capteur principal. Rien de plus n'est requis.

2. Affichage de la cabine: c'est l'interface pour l'opérateur. Grâce à elle, des avertissements et des réglages sont effectués.

3. Unité de commande sous la cabine: il y a NVIDIA TX2. La pile d'algorithmes principale y tourne, la vidéo est traitée et à partir de là, des commandes vers le bus CAN sont émises.

Bloc 340x290x60 mm, 40 watts.

Le module d'émission des commandes est connecté au bus CAN ou à une autre entrée / sortie système de la moissonneuse-batteuse. Il y a quelques embuscades, en particulier, avec le fait que pas partout n'est possible, et pas partout le contrôle hydraulique est possible via cette interface.

Dans le cas de la moissonneuse des cinq dernières années de production, c'est presque toujours tout: une boîte à cervelle, un appareil photo, un affichage dans la cabine.

Le capteur de rotation des roues est nécessaire dans le cas où la moissonneuse-batteuse est ancienne ou sans préparation, et nous ne pouvons pas obtenir ces données du bus système. Nous avons besoin de données pour l'odométrie (vitesse et angle de rotation des roues):

La pompe doseuse dans le système hydraulique est nécessaire pour contrôler directement l'hydraulique par notre copilote:

La première embuscade avec le bus CAN est qu'il n'y a pas toujours une documentation claire. En théorie, il existe d'autres options pour recevoir des signaux du bus, mais dans la pratique en Russie, ce sont des cas très rares. En général, au mieux, il existe une sorte d'API système et un trou de câble. Dans un cas simple, nous contactons le fabricant de ce trou et demandons une description du protocole. Après quelques semaines de négociations, ils comprennent qui nous sommes et ce dont nous avons besoin et ils envoient. Tout le monde ne le perçoit pas simplement, mais les grands producteurs sont en partie satisfaits de nous car ils savent que l'année dernière, nous avons mis nos solutions dans un certain nombre de fermes et de grands complexes agricoles, ce qui a causé un peu de bruit dans les médias.

Et ils demandent souvent immédiatement si nos technologies peuvent être intégrées dans la moissonneuse du futur. C'est une histoire distincte, mais à la suite de la première partie, nous avons un protocole, et tout va bien.

Dans un monde idéal, ce serait la fin. Malheureusement, il arrive parfois qu'il n'y ait pas de documentation ou que le fabricant n'obtienne pas de description claire. Dans ce cas, nous connectons et inversons le bus. Bien sûr, il existe un protocole J1939 que les fabricants doivent suivre, mais tout le monde ne le fait pas. Habituellement, vous vous connectez avec l'utilitaire de débogage, vous obtenez tous les paquets avec des variables et vous vous asseyez simplement avec l'opérateur en cliquant sur les boutons. Je suis allé - quelque part zéro est devenu un nombre positif. Accéléré - le nombre a augmenté. Ralenti - diminué. Ouais, la vitesse est. Et donc - toute la journée. Ensuite, vous devez capturer la corrélation et sélectionner les facteurs de conversion. Une fois, nous avons attrapé un bug très désagréable avec ce qui fonctionnait sur le site de test, mais pas sur le terrain. La moissonneuse en mode paix a envoyé des paquets,et avec la faucheuse et la bobine allumées, il est entré dans un mode de combat spécial et a commencé à envoyer ses messages de combat spéciaux dans les mêmes paquets capturés. Nous avons dû collecter des panneaux de données de manière infernale. En fin de compte, l'en-tête a donné ses informations normalement aux mêmes paquets dans les mêmes variables, et le concepteur de bus a optimisé tout cela de manière extravagante afin de ne pas définir de nouvelles variables. Probablement, il participe à la compétition 256b-intro pendant son temps libre.

L'hydraulique a également surpris. Bien que Danfoss soit parmi les partenaires, bien qu'ils aient aidé tout le monde autant que possible et donné des plans détaillés, tout ne peut être vérifié qu'en démarrant la moissonneuse-batteuse. Quelque part, les composants se trouvaient légèrement à la frontière, donc le système pour le client est venu à la récolte (et ce n'est qu'un des cas). Autrement dit, il était nécessaire de tout monter la nuit, de démarrer, de vérifier et, si au moins quelque chose ne va pas, de le retirer pour que la moissonneuse-batteuse puisse être utilisée plus loin le matin. Nous sommes arrivés à huit heures du soir et avons commencé à chamaner avec l'hydraulique. Nous avons terminé la première installation à quatre heures du matin. Ils ne savaient pas si cela commencerait ou non. Si cela ne fonctionne pas, il sera nécessaire de démonter et de revenir à son état normal. Démarré - cela fonctionne. Dirige comme il se doit. C'est le monde bonjour le plus cool de notre vie. Je n’imaginais pas travailler avec des réseaux de neurones, mais où sans lui.

Vous pouvez ajouter un modem cellulaire pour envoyer la télémétrie au kit. Cependant, le kit n'a pas besoin de GPS. C'est un énorme avantage. Pour que la conduite GPS normale fonctionne normalement, vous devez cartographier à l'avance, configurer une station RTK pour les corrections, ou acheter un ensemble de signaux, etc. Et appuyez toujours sur les boutons et les menus, et les opérateurs de machines n'aiment vraiment pas les interfaces utilisateur. Nous avons une boîte de caméra embarquée, allons-y. Il n'est pas nécessaire de cartographier le champ pour le découper en enclos. Vous devez conduire sur le terrain. Le robot dira: "Oh, applaudissements, champ!" Et allez-y.

Pourquoi seulement une caméra de conduite

En 2014, nous avons obtenu une subvention scientifique pour un prototype de système intégré de gestion d'entreprise agricole utilisant l'IA. Nous avons plongé dans le métier de producteurs agricoles et regardé les points d'automatisation les plus évidents. La Russie est une culture très risquée (une culture par an et cinq au Brésil). Vous cultivez un champ pendant une année entière: des semences chères (c'est la plus chère), puis vous saupoudrez de produits chimiques coûteux (deuxième poste de dépense), effectuez un cycle de travail sur la préparation du sol et des cultures. C'est une année entière de mars à l'automne. Et ce n'est qu'à l'automne que vous avez deux semaines pour récolter. Si quelque chose ne va pas, un plus ou un moins par jour peut représenter une perte de rendement de 10%.

La moissonneuse n'est pas sortie, la moissonneuse s'est arrosée, a louché de travers, s'est brisée le long de la route. Tout, simple pendant des heures et des jours.

C'est avec la reconnaissance des obstacles que nous avons commencé. Immédiatement un lidar est apparu, mais c'est cher, donc la caméra. Une fois une monocaméra - vous devez reconnaître immédiatement les images. Parce que vous devez non seulement voir, mais aussi comprendre de quoi il s'agit, de quelle taille il s'agit, comment vous vous comportez, à quoi vous attendre. Nous restons immobiles ou avançons, mais vous devez connaître la distance relative à l'objet et toujours vous souvenir de l'en-tête 7,5 ou 9 mètres dans différentes directions (et ce n'est pas le maximum, souvent sur les modèles en cours d'exécution, il y a également 12-13 mètres). Néanmoins, sur de telles dimensions, il est possible de moudre accidentellement un opérateur de tracteur ou une machine de ravitaillement en carburant à partir d'un petit besoin lors d'un demi-tour.

Les réseaux de neurones font un excellent travail. Mais encore, puisque nous avons une monocaméra, vous pouvez tromper l'algorithme avec un modèle de combinaison 1:40 dans de rares cas (car vous pouvez également obtenir la géométrie d'une monocaméra en mouvement). Mais on en rencontre rarement sur le terrain.

Dans le maïs (tige de trois mètres), il est important de rechercher des piliers, par exemple. Étant donné que nous avions une définition de la culture et de ce qui est un obstacle, nous pourrions alors mieux distinguer où se trouve la culture.

Et ceci est le pilote automatique de deuxième niveau:

C'était très difficile avec la culture elle-même. Lors des premières itérations des voyages, nous sommes venus sur le terrain pour une nouvelle culture ou une culture spécifique qui avait l'air spécifique. Un agronome mal surveillé, par exemple, n'a pas pulvérisé à temps. Faible récolte avec des mauvaises herbes - le réseau neuronal ne mange pas. Une fois, nous sommes venus à la ferme pour des tests. Et il y a un climat très différent, et l'orge ne ressemble pas du tout au livre de référence de l'agronome. Et dans notre segmentation ne reconnaît pas correctement les parties tondues et biseautées. Il y avait peu de données pour l'échantillon de formation, mais nous les avons tournées nous-mêmes. Toute la journée jusqu'au soir, nous avons parcouru les champs avec un opérateur de machine, pris un nouvel échantillon. Ils se sont assis à l'hôtel la nuit avec leur personnel pour marquer ces données. Mettez sur le réseau de recyclage. Le lendemain, tout est parti dans un nouveau domaine.

Voici comment ajouter l'échantillon cible:

Selon Eduard, qui explique cela aux agriculteurs, les gens eux-mêmes comprennent parfaitement que le nettoyage est le principal point d'automatisation. Il nourrit la journée par an. Et ils essaient de toutes leurs forces d'exclure les erreurs humaines. En fin de compte, nous sommes d'accord sur un «look». Avant la saison, notre groupe de service ou nos concessionnaires installent tout. Effectuez ensuite un contrôle d'étalonnage. Ou, avant la période de récolte, ils sont immédiatement calibrés, cela prendra un jour et demi.

Si c'est intéressant, je peux vous parler plus tard des caractéristiques de la reconnaissance de tout ce qui se trouve sur le terrain, ou de la façon dont nous collectons à merveille les échantillons d'entraînement, parce que les échantillons finis sont dégoûtants et ne conviennent pas aux conditions russes. Cela est également dû au fait que nous sommes les premiers à faire quoi que ce soit avec ce sujet dans le monde, et qu'il n'y a donc pas encore de pratiques établies.

PS Si votre agronome n'est pas sur Habré, et qu'il est intéressé, alors vous pouvez trouver des contacts ici: promo.cognitivepilot.com et discuter de manière substantielle pour quelle combinaison quel ensemble spécifique d'équipement est nécessaire, combien cela coûte et comment vous pouvez le voir rapidement- à découvrir.

Comment nous avons fait du pilote automatique de la moissonneuse-batteuse sur analyse vidéo le premier au monde

Une opportunité technique est apparue

Que contient la farce

Pourquoi seulement une caméra de conduite

More articles: