MASK-RCNN用于从无人机图像中查找屋顶

问题

• 冬季和夏季航空照片之间存在显着差异（仅在夏季照片中训练的模型在冬季完全无法找到屋顶）；
• , ;
• , ( ), ( ) , ;
• , , ( ). ;
• (, ) .

• 我们没有任务可以在有限的时间内执行推理（例如，在飞行时直接进行推理），这可以立即解决所有可能的性能问题；
• 在进行处理时，我们立即从客户Shakhty公司收到了高质量的高分辨率图像（使用焦距为21 mm的镜头，高度为250 m，即5 cm / px），可以使用他们的专业知识对地图上的对象进行地理定位，并且他们还有机会对未来的无人机飞行制定一套特定的要求，这最终大大降低了训练集中没有的非常独特的瓷砖的可能性；

第一个解决问题的方法是使用“边界框”描边 

• Anaconda是用于Python和R的便捷软件包管理系统。
• Tensorflow是Google开发的开源机器学习软件库。
• Keras是Deeplearning4j，TensorFlow和Theano框架的附加组件。
• OpenCV是用于计算机视觉，图像处理和通用开源数值算法的算法库。
• Flask是用于使用Python编程语言创建Web应用程序的框架。

瓷砖准备

from pyproj import Proj, transform

class Converter:
    P3857 = Proj(init='epsg:3857')
    P4326 = Proj(init='epsg:4326')
...
    def from_3857_to_GPS(self, point):
        x, y = point
        return transform(self.P3857, self.P4326, x, y)
    def from_GPS_to_3857(self, point):
        x, y = point
        return transform(self.P4326, self.P3857, x, y)
...

训练数据标记 

• / . :

• , , :

...

lines = cv2.HoughLinesP(edges, 1, np.pi/180, 50, minLineLength=minLineLength, maxLineGap=5)
if lines is not None:
    length = image.shape[0]
    angles = []
    for x1, y1, x2, y2 in lines[0]:
        angle = math.degrees(math.atan2(y2 — y1, x2 - x1))
        angles.append(angle)
    parts_angles.append(angles)
    median_angle = np.median(angles)
...

#     

for x in range(0, image.shape[0]-1, image.shape[0] // count_crops):
    for y in range(0, image.shape[1]-1, image.shape[1] // count_crops):
        get_line(image[x:x+image.shape[0]//count_crops, y:y+image.shape[1]//count_crops, :])
...

#      

np.median([a if a>0 else 90+a for a in np.array(parts_angles).flatten()])

h, w = image.shape[:2]
image_center = (w/2, h/2)

if size is None:
    radians = math.radians(angle)
    sin = math.sin(radians)
    cos = math.cos(radians)
    size = (int((h * abs(sin)) + (w * abs(cos))), int((h * abs(cos)) + (w * abs(sin))))
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)
    rotation_matrix[0, 2] += ((size[0] / 2) — image_center[0])
    rotation_matrix[1, 2] += ((size[1] / 2) — image_center[1])
else:
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)

cv2.warpAffine(image, rotation_matrix, size)

• 有很多飞越的地方都有大量的非矩形屋顶，因此需要太多的手工工作来完善该区域，
• 有时会在同一瓷砖上以不同方向在家中找到
• 有时，图块上有许多错误的线条，最终会导致错误的转弯。看起来像这样：

基于Mask-RCNN的最终解决方案

• 所有卷积神经网络的标准，是图像中特征的分配，例如线条，折弯，对比边界等。
• 区域提议网（RPN）扫描图像的小片段，称为锚点（anchor），并确定该锚点是否包含特定于目标类别的标志（在我们的情况下为屋顶）；
• 兴趣区域分类和边界框。在此阶段，网络根据上一阶段的结果，试图突出显示照片中可能包含目标对象的矩形区域。
• 细分蒙版。在此阶段，从通过应用边界框获得的矩形区域中获得所需对象的蒙版。

用于评估模型质量的指标

from shapely.geometry import Polygon

true_polygon = Polygon([(2, 2), (2, 6), (5, 6), (5, 2)])
predicted_polygon = Polygon([(3, 3), (3, 7), (6, 7), (6, 3)])
print(true_polygon.intersection(predicted_polygon).area / true_polygon.union(predicted_polygon).area)

>>> 0.3333333333333333

• val_mrcnn_bbox_loss-显示模型对对象的本地化程度（即强加边界框）；
• val_mrcnn_mask_loss-显示模型对对象的分割程度（即施加遮罩）。

模型训练与验证

创建用于识别的后台服务

sudo vim my_srv.service

• [Unit]-描述启动的顺序和条件（例如，您可以告诉进程等待某个服务的启动，然后自己启动）；
• [服务]-描述启动参数；
• [安装]-描述将服务添加到启动时的行为。

[Unit]
Description=my_test_unit

[Service]
WorkingDirectory=/home/user/test_project
User=root
ExecStart=/home/user/test_project/venv/bin/python3 /home/user/test_project/script.py

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start my_srv.service

发现