MASK-RCNN zum Auffinden von Dächern aus Drohnenbildern

Probleme

• Es gibt einen signifikanten Unterschied zwischen Winter- und Sommerluftbildern (ein Modell, das nur für Sommerfotos ausgebildet wurde, kann im Winter keine Dächer finden).
• , ;
• , ( ), ( ) , ;
• , , ( ). ;
• (, ) .

• Wir hatten keine Aufgabe, für eine begrenzte Zeit (zum Beispiel direkt zum Zeitpunkt des Fluges) Rückschlüsse zu ziehen, wodurch alle möglichen Leistungsprobleme sofort gelöst wurden.
• Am Eingang für die Verarbeitung erhielten wir sofort hochauflösende Bilder in hoher Qualität (unter Verwendung von Objektiven mit einer Brennweite von 21 mm in einer Höhe von 250 m, was 5 cm / px entspricht) von unserem Kunden, der Firma Shakhty, die ihr Fachwissen bei der Geolokalisierung von Objekten auf Karten nutzen konnten Sie hatten auch die Möglichkeit, spezifische Anforderungen für zukünftige UAV-Flüge festzulegen, was letztendlich die Wahrscheinlichkeit sehr einzigartiger Kacheln, die nicht im Trainingssatz enthalten waren, erheblich verringerte.

Die erste Lösung für das Problem ist das Streichen mit der Begrenzungsbox 

• Anaconda ist ein praktisches Paketverwaltungssystem für Python und R.
• Tensorflow ist eine Open Source-Softwarebibliothek für maschinelles Lernen, die von Google entwickelt wurde.
• Keras ist ein Add-On für die Frameworks Deeplearning4j, TensorFlow und Theano.
• OpenCV ist eine Bibliothek von Algorithmen für Computer Vision, Bildverarbeitung und allgemeine numerische Open-Source-Algorithmen.
• Flask ist ein Framework zum Erstellen von Webanwendungen in der Programmiersprache Python.

Fliesenvorbereitung

from pyproj import Proj, transform

class Converter:
    P3857 = Proj(init='epsg:3857')
    P4326 = Proj(init='epsg:4326')
...
    def from_3857_to_GPS(self, point):
        x, y = point
        return transform(self.P3857, self.P4326, x, y)
    def from_GPS_to_3857(self, point):
        x, y = point
        return transform(self.P4326, self.P3857, x, y)
...

Markup für Trainingsdaten 

• / . :

• , , :

...

lines = cv2.HoughLinesP(edges, 1, np.pi/180, 50, minLineLength=minLineLength, maxLineGap=5)
if lines is not None:
    length = image.shape[0]
    angles = []
    for x1, y1, x2, y2 in lines[0]:
        angle = math.degrees(math.atan2(y2 — y1, x2 - x1))
        angles.append(angle)
    parts_angles.append(angles)
    median_angle = np.median(angles)
...

#     

for x in range(0, image.shape[0]-1, image.shape[0] // count_crops):
    for y in range(0, image.shape[1]-1, image.shape[1] // count_crops):
        get_line(image[x:x+image.shape[0]//count_crops, y:y+image.shape[1]//count_crops, :])
...

#      

np.median([a if a>0 else 90+a for a in np.array(parts_angles).flatten()])

h, w = image.shape[:2]
image_center = (w/2, h/2)

if size is None:
    radians = math.radians(angle)
    sin = math.sin(radians)
    cos = math.cos(radians)
    size = (int((h * abs(sin)) + (w * abs(cos))), int((h * abs(cos)) + (w * abs(sin))))
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)
    rotation_matrix[0, 2] += ((size[0] / 2) — image_center[0])
    rotation_matrix[1, 2] += ((size[1] / 2) — image_center[1])
else:
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)

cv2.warpAffine(image, rotation_matrix, size)

• Es gibt viele Überflüge, bei denen es eine große Anzahl nicht rechteckiger Dächer gibt. Aus diesem Grund ist zu viel Handarbeit erforderlich, um den Bereich zu verfeinern.
• manchmal zu Hause mit unterschiedlichen Ausrichtungen auf derselben Fliese gefunden,
• Manchmal gibt es viele falsche Linien auf den Kacheln, was letztendlich zu einer falschen Kurve führt. Es sieht aus wie das:

Die endgültige Lösung basiert auf Mask-RCNN

• Standard für alle Faltungs-Neuronalen Netze, die Zuordnung von Merkmalen im Bild, wie Linien, Biegungen, kontrastierenden Grenzen und anderen;
• Das Region Proposal Network (RPN) scannt kleine Fragmente des Bildes, die als Anker (Anker) bezeichnet werden, und ermittelt, ob dieser Anker für die Zielklasse spezifische Zeichen enthält (in unserem Fall das Dach).
• Region of Interest Klassifizierung und Begrenzungsrahmen. In dieser Phase versucht das Netzwerk, basierend auf den Ergebnissen der vorherigen Phase, große rechteckige Bereiche auf dem Foto hervorzuheben, die vermutlich das Zielobjekt enthalten.
• Segmentierungsmasken. In diesem Stadium wird die Maske des gewünschten Objekts aus dem rechteckigen Bereich erhalten, der durch Anwenden des Begrenzungsrahmens erhalten wird.

Metriken zur Bewertung der Modellqualität

from shapely.geometry import Polygon

true_polygon = Polygon([(2, 2), (2, 6), (5, 6), (5, 2)])
predicted_polygon = Polygon([(3, 3), (3, 7), (6, 7), (6, 3)])
print(true_polygon.intersection(predicted_polygon).area / true_polygon.union(predicted_polygon).area)

>>> 0.3333333333333333

• val_mrcnn_bbox_loss - zeigt an, wie gut das Modell Objekte lokalisiert (d. h. eine Grenzbox auferlegt);
• val_mrcnn_mask_loss - zeigt an, wie gut das Modell Objekte segmentiert (d. h. eine Maske auferlegt).

Modellschulung und Validierung

Erstellen eines Hintergrunddienstes zur Erkennung

sudo vim my_srv.service

• [Einheit] - beschreibt die Reihenfolge und den Zustand des Starts (Sie können beispielsweise den Prozess anweisen, auf den Start eines bestimmten Dienstes zu warten und ihn erst dann selbst zu starten).
• [Service] - beschreibt Startparameter;
• [Installieren] - beschreibt das Verhalten des Dienstes beim Hinzufügen zum Start.

[Unit]
Description=my_test_unit

[Service]
WorkingDirectory=/home/user/test_project
User=root
ExecStart=/home/user/test_project/venv/bin/python3 /home/user/test_project/script.py

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start my_srv.service

Ergebnisse