MASK-RCNN para encontrar techos a partir de imágenes de drones

Problemas

• existe una diferencia significativa entre las fotografías aéreas de invierno y verano (un modelo entrenado solo en fotografías de verano es completamente incapaz de encontrar techos en invierno);
• , ;
• , ( ), ( ) , ;
• , , ( ). ;
• (, ) .

• no tuvimos la tarea de realizar inferencia durante un tiempo limitado (por ejemplo, directamente en el momento del vuelo), lo que resolvió de inmediato todos los posibles problemas con el rendimiento;
• En la entrada para el procesamiento, recibimos de inmediato imágenes de alta resolución y alta calidad (usando lentes con una longitud focal de 21 mm a una altura de 250 m, que es 5 cm / px) de nuestro cliente, la compañía Shakhty, podría usar su experiencia en geolocalización de objetos en mapas, y También tuvieron la oportunidad de establecer un conjunto específico de requisitos para futuros vuelos de vehículos aéreos no tripulados, que en última instancia redujo en gran medida la probabilidad de fichas muy únicas que no estaban en el conjunto de entrenamiento;

La primera solución al problema, trazo usando el cuadro Límite 

• Anaconda es un conveniente sistema de gestión de paquetes para Python y R.
• Tensorflow es una biblioteca de software de aprendizaje automático de código abierto desarrollada por Google.
• Keras es un complemento para los marcos Deeplearning4j, TensorFlow y Theano.
• OpenCV es una biblioteca de algoritmos de visión por computadora, procesamiento de imágenes y algoritmos numéricos de código abierto de uso general.
• Flask es un marco para crear aplicaciones web en el lenguaje de programación Python.

Preparación de azulejos

from pyproj import Proj, transform

class Converter:
    P3857 = Proj(init='epsg:3857')
    P4326 = Proj(init='epsg:4326')
...
    def from_3857_to_GPS(self, point):
        x, y = point
        return transform(self.P3857, self.P4326, x, y)
    def from_GPS_to_3857(self, point):
        x, y = point
        return transform(self.P4326, self.P3857, x, y)
...

Marcado de datos de entrenamiento 

• / . :

• , , :

...

lines = cv2.HoughLinesP(edges, 1, np.pi/180, 50, minLineLength=minLineLength, maxLineGap=5)
if lines is not None:
    length = image.shape[0]
    angles = []
    for x1, y1, x2, y2 in lines[0]:
        angle = math.degrees(math.atan2(y2 — y1, x2 - x1))
        angles.append(angle)
    parts_angles.append(angles)
    median_angle = np.median(angles)
...

#     

for x in range(0, image.shape[0]-1, image.shape[0] // count_crops):
    for y in range(0, image.shape[1]-1, image.shape[1] // count_crops):
        get_line(image[x:x+image.shape[0]//count_crops, y:y+image.shape[1]//count_crops, :])
...

#      

np.median([a if a>0 else 90+a for a in np.array(parts_angles).flatten()])

h, w = image.shape[:2]
image_center = (w/2, h/2)

if size is None:
    radians = math.radians(angle)
    sin = math.sin(radians)
    cos = math.cos(radians)
    size = (int((h * abs(sin)) + (w * abs(cos))), int((h * abs(cos)) + (w * abs(sin))))
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)
    rotation_matrix[0, 2] += ((size[0] / 2) — image_center[0])
    rotation_matrix[1, 2] += ((size[1] / 2) — image_center[1])
else:
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)

cv2.warpAffine(image, rotation_matrix, size)

• hay muchos sobrevuelos donde hay una gran cantidad de techos no rectangulares, debido a esto hay demasiado trabajo manual para refinar el área,
• a veces se encuentra en casa con diferentes orientaciones en el mismo mosaico,
• a veces hay muchas líneas falsas en las fichas, lo que finalmente conduce a un giro equivocado. Se parece a esto:

La solución final basada en Mask-RCNN

• estándar para todas las redes neuronales convolucionales, la asignación de características en la imagen, como líneas, curvas, límites contrastantes y otros;
• La Red de Propuesta de Región (RPN) escanea pequeños fragmentos de la imagen, llamados anclajes (anclajes) y determina si este ancla contiene signos específicos de la clase objetivo (en nuestro caso, el techo);
• Región de interés Clasificación y cuadro delimitador. En esta etapa, la red, basada en los resultados de la etapa anterior, está tratando de resaltar grandes áreas rectangulares en la fotografía, presumiblemente conteniendo el objeto objetivo;
• Máscaras de segmentación. En esta etapa, la máscara del objeto deseado se obtiene del área rectangular obtenida aplicando el cuadro de límite.

Métricas utilizadas para evaluar la calidad del modelo.

from shapely.geometry import Polygon

true_polygon = Polygon([(2, 2), (2, 6), (5, 6), (5, 2)])
predicted_polygon = Polygon([(3, 3), (3, 7), (6, 7), (6, 3)])
print(true_polygon.intersection(predicted_polygon).area / true_polygon.union(predicted_polygon).area)

>>> 0.3333333333333333

• val_mrcnn_bbox_loss: muestra qué tan bien el modelo ubica los objetos (es decir, impone un cuadro de límite);
• val_mrcnn_mask_loss: muestra qué tan bien segmenta el modelo los objetos (es decir, impone una máscara).

Modelo de entrenamiento y validación

Crear un servicio en segundo plano para el reconocimiento

sudo vim my_srv.service

• [Unidad]: describe el orden y la condición del inicio (por ejemplo, puede indicarle al proceso que espere el inicio de un determinado servicio y solo luego lo inicie usted mismo);
• [Servicio]: describe los parámetros de inicio;
• [Instalar]: describe el comportamiento del servicio al agregarlo al inicio.

[Unit]
Description=my_test_unit

[Service]
WorkingDirectory=/home/user/test_project
User=root
ExecStart=/home/user/test_project/venv/bin/python3 /home/user/test_project/script.py

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start my_srv.service

recomendaciones