🏳️‍🌈 🎈 📝 我们如何在全球视频分析领域首创联合收割机的自动驾驶仪 🥙 👈 🤶🏿

如果有CAN总线，那就是全部。

就在五年前，还没有正常运行的神经网络能够对障碍物和茎秆进行同样的测定，因此也没有视频分析。有“盲” GPS方法，实际上，这种方法远非最佳，大大削弱了农业自动化的声誉。在五年内，我们相信所有的联合收割机都将通过视觉自动驾驶仪精确地自动化，从驾驶舱和侧面观察并控制收割的各个方面。

目前，我们已经拥有现成的技术，它们经过了良好的测试，廉价且具有年度运营经验，并且大型联合收割机对它们感兴趣。最有可能的是，就像汽车收音机一样：首先将它们放入汽车中，然后这些汽车附带已经内置的收音机。因此，我们现在正在修改旧的联合收割机，但我们希望在生态系统中占有一席之地，并将复合物放到所有新组合收割机上。

由于市场的特殊性，这样的项目可能会在我们的国家，巴西，甚至几个国家开始。我们需要一个拥有农业，内部开发人员，收割效率低下（即明显要省钱）和新的联合收割机的国家。我们对包括公园在内的所有事物都感到幸运：苏联解体后，一切都崩溃了，现在大约四到五年前，我们在主要农场看到了汽车。

俄罗斯有35万台联合收割机，每年还有3.5万台交付。当然，这不是汽车市场，但是如果现在就做出正确的决定，而没人会来到这里，那么一切就可以得到。

但是，让我们更好地告诉您它的工作原理以及我们如何修改俄罗斯的联合收割机。

联合收割机操作员与我们的Agro Pilot合作的工作日如何？

联合收割机操作员-操作员或机器操作员-早上七点到达现场。如果不是第一天，那么汽车已经在农作物中间。在下一部分进行设置，进行预热。早晨九点，露水离开田野，就可以开始了。当湿度再次升高时，您需要在黑暗中完成。你不能在雨中工作。在大约两周内，您需要有时间收集所有谷物，然后将其倾倒并洒到地面上：距离越远，损失越大。您不能更早开始：谷物尚未成熟。因此，正是在这个负载高峰时，任何简单，任何错误或事故都是非常昂贵的。

更改最多持续14小时的单调工作。操作员需要：

, . . .
: , 20–22 , . , . .
— .
— .
.

在这里，我的同事爱德华（Eduard）更详细地介绍了为什么最终操作员只专注于滑行，保留收集机制中的默认设置而常常错过前面的电源线支架或拖拉机而撞到10档的原因。

简短摘要：一个人可以操纵或监视清洁质量。由于联合收割机具有12米宽的割台，并且转向不顺时，通常会留下较大的割草条纹，因此转向非常困难。

如果减轻滑行负荷，那么谷物收成会突然增加。在我们的实践中，去年来自同一站点的费用减少了3％，这是因为操作员有机会更准确地了解即将发生的情况。大约3-5％-由于保留了捕获功能，而没有“肚脐”和较大的割草部件。再没有意外。

通常，这是非常必要的事情，如果有技术可能性，它将早已实施。

技术机会出现了

这是自动驾驶仪的作用：

即：

联合收割机根据当前文化的增长特征以及联合收割机如何发展而应运而生。
它使您可以混合使用混合车队：既适用于具有自动驾驶功能又具有手动控制功能的汽车。自动驾驶没有区别。
非常清楚地保持过道之间的距离，确保最小的割草。
他搜索障碍物，对障碍物进行分类并决定要做什么：四处走动，放慢速度，或者在有时间的时候警告操作员。
支持针对特定情况的最佳速度。有这样一个功能：要使收割机清洁干净，对于特定型号的小麦，您需要保持每小时6到6.5公里的间隔。如果我们越过这条线，那么质量将会更大，灾祸将停止淘汰所有的谷物，并且速度的损失还会成倍增加：七公里-0.2％，八公里-0.5％，依此类推。

根据实验室现场测试的结果对其中一种联合收割机进行农业技术评估

速度如何影响采集性能



	1			2			3

, /	4,1	5,4	6,3	4,5	5,6	7	2,8	3,6	4,3
,	4,8
,	14			23			6

:
— ,	—	13	13	22	22	22	5	5	5
	—	1,4	1,42	1,65	1,86	3,37	1,35	1,47	1,19
— ,	—	9,6	9,5	8	8,6	14,8	12,2	12,1	9,4

— , %
20%, , %	—	0,13	0,17	0,27	0,35	0,36	0,56	0,62	0,74
:
—	—	0,08	0,11	0,2	0,24	0,25	0,29	0,32	0,31
—	—	0,05	0,06	0,07	0,11	0,11	0,24	0,27	0,4
—	—	0	0	0	0	0	0,03	0,03	0,03
, /	10,7	15,3	16,1	2,7	3,4	4,5	3,6	4,1	6,1
, /	5,28	6,75	7,72	2,09	2,68	4,84	4	5,3	7
, /	3,85	4,15	5,37	2,23	2,87	5,99	5	7	8,7
, , %,	0,83	0,93	1,01	0,39	0,44	0,5	0,33	0,49	0,53
:	0,24	0,37	0,42	0,27	0,32	0,37	0,26	0,42	0,45
—	0,24	0,37	0,42	0,27	0,32	0,37	0,26	0,42	0,45
—	0,43	0,41	0,45	0			0
— -	—	0,003	—
— , %	0,16	0,15	0,14	0,12	0,12	0,13	0,06	0,07	0,08
, %:
—	1,56	1,5	1,41	1,18	1,2	1,27	0,62	0,6911,27	0,83
—	0,42	0,5	0,57	0,88	0,89	1,09	1,32	98,04	1,72
— ()	98,02	98	98,02	97,94	97,91	97,64	98,06		97,45
,	1052	1048	1063

现在，我们设备的主要功能不是自动驾驶，而是从操作员的工作中排除了人为因素。我们基本的设备有助于消除收割机的后退和不必要的运行。

馅里有什么

1. 2 MP摄像机位于反光镜支架上。我们仅关注相机：这是主要传感器。不需要什么了。

2.驾驶室显示屏：这是操作员的界面。通过它进行警告和设置。

3.驾驶室下方的控制单元：有NVIDIA TX2。主算法堆栈在此处旋转，视频被处理，然后从那里发出到CAN总线的命令。

块340x290x60毫米，40瓦。

发出命令的模块连接到CAN总线或联合收割机的其他系统输入/输出。尤其是有几次伏击，事实是并非不可能在任何地方都可以实现，通过该界面也无法在任何地方进行液压控制。

就过去五年的收割机而言，几乎所有东西都是：带大脑的盒子，照相机，驾驶室中的显示器。

万一联合收割机陈旧或未经准备，就需要车轮旋转传感器，而我们不能从系统总线上获得此数据。我们需要里程计的数据（车轮的速度和旋转角度）：

液压系统中的计量泵需要通过我们的副驾驶直接控制液压系统：

使用CAN总线的第一个伏击是始终没有清晰的文档。从理论上讲，还有其他一些从总线接收信号的选择，但是在俄罗斯，实际上很少有这种情况。通常，充其量只有某种系统API和电缆孔。在简单的情况下，我们与该孔的制造商联系，并要求对协议进行描述。经过几周的谈判，他们了解我们是谁，我们需要什么，然后发送。并非所有人都这么简单地理解这一点，但是大型生产商对我们感到部分满意，因为他们知道去年我们在许多农场和大型农业综合体中采用了我们的解决方案，这在媒体中引起了一些噪音。

他们经常会问我们的技术是否可以集成到未来的收割机中。这是一个单独的故事，但是作为第一部分的结果，我们有了一个协议，一切都很好。

在理想的世界中，这将是结局。不幸的是，有时仍然存在没有文档或制造商未能获得清晰描述的情况。在这种情况下，我们连接并反转总线。当然，制造商应遵循J1939协议，但并非每个人都遵循。通常，您使用调试实用程序进行连接，会获得所有带有变量的数据包，而操作员只需单击按钮即可。我去了-从零开始变成正数。加速-数字增加。减速-减少。是的，速度是。等-一整天。接下来，您需要捕获相关性并选择转换因子。一次，我们在测试站点发现了一个非常令人讨厌的错误，但在现场却没有。处于和平模式的收割机发送了一些数据包，在收割机和收纸器打开的情况下，他进入了特殊的战斗模式，并开始以相同的捕获数据包发送特殊的战斗信息。我们不得不以地狱的方式收集数据标志。事实证明，报头通常将其信息提供给相同的数据包并传递给相同的变量，总线设计者对此进行了疯狂的优化，以免设置新的变量。可能他在业余时间参加了256b简介比赛。

液压方面也有惊喜。尽管丹佛斯是合作伙伴，但他们尽了最大的努力为每个人提供了帮助，并给出了详细的计划，但只有通过启动联合收割机，才能检查一切。在某个地方，组件稍微位于边界处，因此面向客户的系统开始收获（这只是其中一种情况）。也就是说，有必要在晚上将其全部安装，启动，检查，如果至少有什么问题，请将其卸下，以便可以在早晨进一步使用联合收割机。我们在晚上八点到达，开始用液压装置进行萨满祭祀。我们在凌晨四点完成了第一次安装。他们不知道它是否会开始。如果无法解决问题，则有必要拆卸并返回其正常状态。已启动-有效。操纵应该。这是我们生活中最酷的世界。我没有想象过使用神经网络，但是如果没有它的话。

您可以添加蜂窝调制解调器以将遥测发送到套件。但是，该套件不需要GPS。这是一个巨大的优势。为了使正常的GPS驾驶正常工作，您需要提前进行地图绘制，设置RTK站进行更正或购买信号包等等。而且仍然按下按钮和菜单，并且机器操作员确实不喜欢用户界面。我们可以随身携带一个摄影机了。不必映射该字段以将其切成笔。您需要开车到野外。机器人会说：“哦，欢呼，现场！” 走吧

为什么只有行车摄像机

2014年，我们获得了使用AI的农业综合企业管理系统原型的科学资助。我们投入了农业生产者的业务，并研究了自动化方面最明显的方面。俄罗斯是非常危险的作物（每年一季，巴西为五季）。您要耕种一整年的土地：昂贵的种子（这是最昂贵的），然后撒上昂贵的化学药品（第二费用项目），并进行一个周期的土壤和农作物整备工作。从三月到秋天是整个一年。而且只有在秋天，您才有两个星期需要收获。如果出现问题，则一天的正负可能会损失10％的产量。

收割机没有出来，收割机冲了下来，歪斜地s着眼睛-沿着道路破裂了。一切，数小时和数天都很简单。

正是在认识到障碍之后才开始的。立刻出现了激光雷达，但是价格昂贵，所以是相机。一旦有了单相机-您需要立即识别图像。因为您不仅需要查看而且还需要了解它的大小，大小，行为方式以及期望。我们要么站着不动，要么前进，但是您需要知道与物体的相对距离，并且仍然要记住在不同方向上的表头7.5或9米（这不是最大值，通常在运行的模型上也为12-13米）。同样，在这样的尺寸上，可能会出于岬角的小需求而意外地磨碎拖拉机操作员或加油机。

神经网络做得很好。但是，尽管如此，由于我们拥有单镜头相机，因此在极少数情况下，您可以使用1:40合并模型来欺骗算法（因为您还可以从运动的单镜头相机中获取几何图形）。但是这种情况很少在该领域出现。

例如，在玉米（三米秸秆）中，寻找支柱很重要。因为我们有一个定义，这里是文化，什么是障碍，所以我们可以进一步区分什么是文化。

这是第二级自动驾驶仪：

文化本身非常困难。在旅行的第一次迭代中，我们来到了现场，尝试一种新文化或一种看起来很特定的特定文化。例如，农艺师观看得不好，没有按时喷洒。杂草含量低的作物-神经网络不吃东西。曾经，我们来到农场进行测试。这里的气候截然不同，大麦看上去完全不像农艺师的参考书所述。而且在我们的细分中，无法正确识别被修剪和倾斜的部分。训练样本的数据很少，但是我们自己拍摄了这些数据。一整天直到晚上，我们和机器操作员一起在田野里骑行，采集了一个新样品。晚上，他们与员工坐在酒店里，记下这些数据。穿上再培训网络。第二天，一切都进入了一个新领域。

这样可以添加目标样本：

据爱德华（Eduard）向农民解释的那样，人们自己完全理解清洁是自动化的重点。一年中有一天。他们正在竭尽全力排除人为错误。最后，我们同意“外观”。在旺季到来之前，我们的服务团队或经销商要进行安装。然后进行校准检查。或者，在收获期之前，将立即对其进行校准，这将需要一天半的时间。

如果有趣的话，我稍后可以告诉您关于在田间发现的所有事物的识别功能，或者关于我们如何出色地收集训练样本的信息，因为最终的样本令人作呕且不适合俄罗斯条件。这也是由于我们是世界上第一个对这个话题做任何事情的人，因此还没有确定的实践。

PS：如果您的农艺师不在哈布雷（Harbré）上，并且对他感兴趣，那么您可以在这里找到联系方式：promo.cognitivepilot.com，并实质性地讨论将哪些组合需要什么特定设备，花费多少以及如何快速查看它-去体验。

我们如何在全球视频分析领域首创联合收割机的自动驾驶仪

技术机会出现了

馅里有什么

为什么只有行车摄像机

More articles: