MASK-RCNN untuk menemukan atap dari gambar drone

Masalah

• ada perbedaan yang signifikan antara foto udara musim dingin dan musim panas (model yang hanya dilatih dalam foto musim panas sama sekali tidak dapat menemukan atap di musim dingin);
• , ;
• , ( ), ( ) , ;
• , , ( ). ;
• (, ) .

• kami tidak memiliki tugas untuk melakukan inferensi untuk waktu yang terbatas (misalnya, langsung pada saat penerbangan), yang segera menyelesaikan semua masalah yang mungkin terjadi dengan kinerja;
• pada input untuk diproses, kami segera menerima gambar resolusi tinggi berkualitas tinggi (menggunakan lensa dengan panjang fokus 21 mm pada ketinggian 250 m, yaitu 5 cm / px) dari pelanggan kami, perusahaan Shakhty, dapat menggunakan keahlian mereka dalam geolokasi objek pada peta, dan mereka juga memiliki kesempatan untuk menetapkan serangkaian persyaratan khusus untuk penerbangan UAV di masa depan, yang pada akhirnya sangat mengurangi kemungkinan ubin unik yang tidak ada dalam rangkaian pelatihan;

Solusi pertama untuk masalah ini, gunakan kotak Boundary 

• Anaconda adalah sistem manajemen paket yang mudah digunakan untuk Python dan R.
• Tensorflow adalah perpustakaan perangkat lunak pembelajaran mesin sumber terbuka yang dikembangkan oleh Google.
• Keras adalah add-on untuk framework Deeplearning4j, TensorFlow dan Theano.
• OpenCV adalah perpustakaan algoritma untuk visi komputer, pemrosesan gambar, dan algoritma numerik open-source untuk tujuan umum.
• Flask adalah kerangka kerja untuk membuat aplikasi web dalam bahasa pemrograman Python.

Persiapan Ubin

from pyproj import Proj, transform

class Converter:
    P3857 = Proj(init='epsg:3857')
    P4326 = Proj(init='epsg:4326')
...
    def from_3857_to_GPS(self, point):
        x, y = point
        return transform(self.P3857, self.P4326, x, y)
    def from_GPS_to_3857(self, point):
        x, y = point
        return transform(self.P4326, self.P3857, x, y)
...

Pelatihan markup data 

• / . :

• , , :

...

lines = cv2.HoughLinesP(edges, 1, np.pi/180, 50, minLineLength=minLineLength, maxLineGap=5)
if lines is not None:
    length = image.shape[0]
    angles = []
    for x1, y1, x2, y2 in lines[0]:
        angle = math.degrees(math.atan2(y2 — y1, x2 - x1))
        angles.append(angle)
    parts_angles.append(angles)
    median_angle = np.median(angles)
...

#     

for x in range(0, image.shape[0]-1, image.shape[0] // count_crops):
    for y in range(0, image.shape[1]-1, image.shape[1] // count_crops):
        get_line(image[x:x+image.shape[0]//count_crops, y:y+image.shape[1]//count_crops, :])
...

#      

np.median([a if a>0 else 90+a for a in np.array(parts_angles).flatten()])

h, w = image.shape[:2]
image_center = (w/2, h/2)

if size is None:
    radians = math.radians(angle)
    sin = math.sin(radians)
    cos = math.cos(radians)
    size = (int((h * abs(sin)) + (w * abs(cos))), int((h * abs(cos)) + (w * abs(sin))))
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)
    rotation_matrix[0, 2] += ((size[0] / 2) — image_center[0])
    rotation_matrix[1, 2] += ((size[1] / 2) — image_center[1])
else:
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)

cv2.warpAffine(image, rotation_matrix, size)

• ada banyak overflight di mana ada sejumlah besar atap non-persegi panjang, karena ini ada terlalu banyak pekerjaan manual untuk memperbaiki area tersebut,
• terkadang ditemukan di rumah dengan orientasi berbeda pada ubin yang sama,
• kadang-kadang ada banyak garis palsu pada ubin, yang pada akhirnya mengarah ke belokan yang salah. Ini terlihat seperti ini:

Solusi akhir berdasarkan Mask-RCNN

• standar untuk semua jaringan saraf convolutional, alokasi fitur dalam gambar, seperti garis, tikungan, batas kontras dan lainnya;
• Region Proposal Network (RPN) memindai fragmen kecil gambar, yang disebut jangkar (jangkar) dan menentukan apakah jangkar ini mengandung tanda-tanda karakteristik kelas target (dalam kasus kami, atap);
• Klasifikasi Wilayah Bunga dan Bounding Box. Pada tahap ini, jaringan, berdasarkan hasil dari tahap sebelumnya, sedang mencoba untuk menyoroti area persegi panjang yang besar dalam foto, mungkin mengandung objek target;
• Masker Segmentasi. Pada tahap ini, topeng dari objek yang diinginkan diperoleh dari area persegi panjang yang diperoleh dengan menerapkan kotak batas.

Metrik digunakan untuk mengevaluasi kualitas model

from shapely.geometry import Polygon

true_polygon = Polygon([(2, 2), (2, 6), (5, 6), (5, 2)])
predicted_polygon = Polygon([(3, 3), (3, 7), (6, 7), (6, 3)])
print(true_polygon.intersection(predicted_polygon).area / true_polygon.union(predicted_polygon).area)

>>> 0.3333333333333333

• val_mrcnn_bbox_loss - menunjukkan seberapa baik model melokalkan objek (mis. memaksakan kotak batas);
• val_mrcnn_mask_loss - menunjukkan seberapa baik model melakukan segmentasi objek (mis. memaksakan mask).

Pelatihan model dan validasi

Membuat layanan latar belakang untuk pengakuan

sudo vim my_srv.service

• [Unit] - menjelaskan urutan dan kondisi awal (misalnya, Anda dapat memberi tahu proses untuk menunggu dimulainya layanan tertentu dan baru kemudian memulainya sendiri);
• [Layanan] - menjelaskan parameter startup;
• [Instal] - menjelaskan perilaku layanan saat menambahkannya ke startup.

[Unit]
Description=my_test_unit

[Service]
WorkingDirectory=/home/user/test_project
User=root
ExecStart=/home/user/test_project/venv/bin/python3 /home/user/test_project/script.py

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start my_srv.service

temuan