ड्रोन छवियों से छत खोजने के लिए MASK-RCNN

समस्या

• सर्दियों और गर्मियों की हवाई तस्वीरों के बीच एक महत्वपूर्ण अंतर है (केवल गर्मियों की तस्वीरों में प्रशिक्षित एक मॉडल सर्दियों में छतों को खोजने में पूरी तरह से असमर्थ है);
• , ;
• , ( ), ( ) , ;
• , , ( ). ;
• (, ) .

• हमारे पास सीमित समय (उदाहरण के लिए, सीधे उड़ान के समय) के लिए आक्षेप करने का कोई कार्य नहीं था, जिसने प्रदर्शन के लिए सभी संभावित समस्याओं को तुरंत हल कर दिया;
• प्रसंस्करण के लिए इनपुट पर, हमने तुरंत उच्च गुणवत्ता वाली उच्च-रिज़ॉल्यूशन वाली छवियां प्राप्त कीं (हमारे ग्राहकों से 250 मिमी की ऊंचाई पर 21 मिमी की फोकल लंबाई के साथ लेंस का उपयोग करते हुए, जो कि हमारे ग्राहक से 5 सेमी / पीएक्स है), शेख्टी कंपनी, नक्शे पर वस्तुओं की जियोलोकेशन में अपनी विशेषज्ञता का उपयोग कर सकती है, और उनके पास भविष्य की यूएवी उड़ानों के लिए आवश्यकताओं का एक विशिष्ट सेट स्थापित करने का अवसर था, जिसने अंततः बहुत ही अनोखी टाइलों की संभावना को कम कर दिया जो प्रशिक्षण सेट में नहीं थे;

समस्या का पहला समाधान, बाउंड्री बॉक्स का उपयोग करके स्ट्रोक 

• एनाकोंडा पायथन और आर के लिए एक सुविधाजनक पैकेज प्रबंधन प्रणाली है।
• Tensorflow Google द्वारा विकसित एक ओपन सोर्स मशीन लर्निंग सॉफ्टवेयर लाइब्रेरी है।
• Keras चौखटे Deeplearning4j, TensorFlow और Theano के लिए एक ऐड-ऑन है।
• OpenCV कंप्यूटर विज़न, इमेज प्रोसेसिंग और सामान्य-उद्देश्य ओपन-सोर्स संख्यात्मक एल्गोरिदम के लिए एल्गोरिदम की एक लाइब्रेरी है।
• फ्लास्क पायथन प्रोग्रामिंग भाषा में वेब एप्लिकेशन बनाने का एक ढांचा है।

टाइल तैयार करना

from pyproj import Proj, transform

class Converter:
    P3857 = Proj(init='epsg:3857')
    P4326 = Proj(init='epsg:4326')
...
    def from_3857_to_GPS(self, point):
        x, y = point
        return transform(self.P3857, self.P4326, x, y)
    def from_GPS_to_3857(self, point):
        x, y = point
        return transform(self.P4326, self.P3857, x, y)
...

प्रशिक्षण डेटा मार्कअप 

• / . :

• , , :

...

lines = cv2.HoughLinesP(edges, 1, np.pi/180, 50, minLineLength=minLineLength, maxLineGap=5)
if lines is not None:
    length = image.shape[0]
    angles = []
    for x1, y1, x2, y2 in lines[0]:
        angle = math.degrees(math.atan2(y2 — y1, x2 - x1))
        angles.append(angle)
    parts_angles.append(angles)
    median_angle = np.median(angles)
...

#     

for x in range(0, image.shape[0]-1, image.shape[0] // count_crops):
    for y in range(0, image.shape[1]-1, image.shape[1] // count_crops):
        get_line(image[x:x+image.shape[0]//count_crops, y:y+image.shape[1]//count_crops, :])
...

#      

np.median([a if a>0 else 90+a for a in np.array(parts_angles).flatten()])

h, w = image.shape[:2]
image_center = (w/2, h/2)

if size is None:
    radians = math.radians(angle)
    sin = math.sin(radians)
    cos = math.cos(radians)
    size = (int((h * abs(sin)) + (w * abs(cos))), int((h * abs(cos)) + (w * abs(sin))))
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)
    rotation_matrix[0, 2] += ((size[0] / 2) — image_center[0])
    rotation_matrix[1, 2] += ((size[1] / 2) — image_center[1])
else:
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)

cv2.warpAffine(image, rotation_matrix, size)

• बहुत से ओवरफ्लाइट्स हैं जहां बड़ी संख्या में गैर-आयताकार छत हैं, क्योंकि इस क्षेत्र को परिष्कृत करने के लिए बहुत अधिक मैनुअल काम है,
• कभी-कभी एक ही टाइल पर अलग-अलग झुकाव के साथ घर पर पाया जाता है,
• कभी-कभी टाइलों पर कई झूठी लाइनें होती हैं, जो अंततः गलत मोड़ की ओर ले जाती हैं। यह इस तरह दिख रहा है:

मास्क-आरसीएनएन पर आधारित अंतिम समाधान

• सभी दृढ़ तंत्रिका नेटवर्क के लिए मानक, छवि में सुविधाओं का आवंटन, जैसे कि रेखाएं, झुकता, विपरीत सीमाएं और अन्य;
• क्षेत्र प्रस्ताव नेटवर्क (RPN) छवि के छोटे टुकड़ों को स्कैन करता है, जिसे एंकर (एंकर) कहा जाता है और यह निर्धारित करता है कि क्या इस एंकर में लक्ष्य वर्ग (हमारे मामले में, छत) के लक्षण हैं;
• रुचि का क्षेत्र वर्गीकरण और बाउंडिंग बॉक्स। इस स्तर पर, पिछले चरण के परिणामों पर आधारित नेटवर्क, फोटोग्राफ में बड़े आयताकार क्षेत्रों को उजागर करने की कोशिश कर रहा है, जिसमें लक्ष्य वस्तु शामिल है;
• सेगमेंटेशन मास्क। इस स्तर पर, सीमा बॉक्स को लागू करके प्राप्त आयताकार क्षेत्र से वांछित वस्तु का मुखौटा प्राप्त किया जाता है।

मॉडल की गुणवत्ता का मूल्यांकन करने के लिए मैट्रिक्स का उपयोग किया जाता है

from shapely.geometry import Polygon

true_polygon = Polygon([(2, 2), (2, 6), (5, 6), (5, 2)])
predicted_polygon = Polygon([(3, 3), (3, 7), (6, 7), (6, 3)])
print(true_polygon.intersection(predicted_polygon).area / true_polygon.union(predicted_polygon).area)

>>> 0.3333333333333333

• val_mrcnn_bbox_loss - दिखाता है कि मॉडल वस्तुओं को कितनी अच्छी तरह से स्थानीय करता है (यानी एक बाउंडिंग बॉक्स लगाता है);
• val_mrcnn_mask_loss - दिखाता है कि मॉडल सेगमेंट की वस्तुओं को कितनी अच्छी तरह से (यानी मास्क लगाता है)।

मॉडल प्रशिक्षण और सत्यापन

मान्यता के लिए पृष्ठभूमि सेवा बनाना

sudo vim my_srv.service

• [यूनिट] - शुरुआत के आदेश और स्थिति का वर्णन करता है (उदाहरण के लिए, आप एक निश्चित सेवा की शुरुआत के लिए प्रतीक्षा करने की प्रक्रिया बता सकते हैं और उसके बाद ही इसे स्वयं शुरू कर सकते हैं);
• [सेवा] - स्टार्टअप मापदंडों का वर्णन करता है;
• [इंस्टॉल करें] - स्टार्टअप से जोड़ते समय सेवा के व्यवहार का वर्णन करता है।

[Unit]
Description=my_test_unit

[Service]
WorkingDirectory=/home/user/test_project
User=root
ExecStart=/home/user/test_project/venv/bin/python3 /home/user/test_project/script.py

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start my_srv.service

जाँच - परिणाम