MASK-RCNN للعثور على أسطح من صور الطائرات بدون طيار

مشاكل

• هناك فرق كبير بين الصور الجوية الشتوية والصيفية (نموذج تم تدريبه فقط في الصور الصيفية غير قادر تمامًا على العثور على أسطح في الشتاء) ؛
• , ;
• , ( ), ( ) , ;
• , , ( ). ;
• (, ) .

• لم يكن لدينا أي مهمة لإجراء الاستدلال لفترة محدودة (على سبيل المثال ، مباشرة في وقت الرحلة) ، والتي حلت على الفور جميع المشاكل المحتملة في الأداء ؛
• عند الإدخال للمعالجة ، تلقينا على الفور صورًا عالية الجودة وعالية الدقة (باستخدام عدسات ذات بؤري 21 مم على ارتفاع 250 م ، وهو 5 سم / بكسل) من عملائنا ، شركة Shakhty ، يمكنهم استخدام خبرتهم في تحديد الموقع الجغرافي للأشياء على الخرائط ، و كما أتيحت لهم الفرصة لوضع مجموعة محددة من المتطلبات لرحلات الطائرات بدون طيار في المستقبل ، مما أدى في النهاية إلى تقليل احتمال وجود بلاط فريد للغاية لم يكن في مجموعة التدريب ؛

الحل الأول للمشكلة ، هو السكتة الدماغية باستخدام مربع الحدود 

• أناكوندا هو نظام ملائم لإدارة حزم Python و R.
• Tensorflow هي مكتبة برامج تعلم آلي مفتوحة المصدر طورتها Google.
• Keras هو إضافة للإطارات Deeplearning4j و TensorFlow و Theano.
• OpenCV هي مكتبة خوارزميات لرؤية الكمبيوتر ومعالجة الصور والخوارزميات العددية مفتوحة المصدر للأغراض العامة.
• Flask هو إطار عمل لإنشاء تطبيقات الويب بلغة برمجة Python.

تحضير البلاط

from pyproj import Proj, transform

class Converter:
    P3857 = Proj(init='epsg:3857')
    P4326 = Proj(init='epsg:4326')
...
    def from_3857_to_GPS(self, point):
        x, y = point
        return transform(self.P3857, self.P4326, x, y)
    def from_GPS_to_3857(self, point):
        x, y = point
        return transform(self.P4326, self.P3857, x, y)
...

ترميز بيانات التدريب 

• / . :

• , , :

...

lines = cv2.HoughLinesP(edges, 1, np.pi/180, 50, minLineLength=minLineLength, maxLineGap=5)
if lines is not None:
    length = image.shape[0]
    angles = []
    for x1, y1, x2, y2 in lines[0]:
        angle = math.degrees(math.atan2(y2 — y1, x2 - x1))
        angles.append(angle)
    parts_angles.append(angles)
    median_angle = np.median(angles)
...

#     

for x in range(0, image.shape[0]-1, image.shape[0] // count_crops):
    for y in range(0, image.shape[1]-1, image.shape[1] // count_crops):
        get_line(image[x:x+image.shape[0]//count_crops, y:y+image.shape[1]//count_crops, :])
...

#      

np.median([a if a>0 else 90+a for a in np.array(parts_angles).flatten()])

h, w = image.shape[:2]
image_center = (w/2, h/2)

if size is None:
    radians = math.radians(angle)
    sin = math.sin(radians)
    cos = math.cos(radians)
    size = (int((h * abs(sin)) + (w * abs(cos))), int((h * abs(cos)) + (w * abs(sin))))
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)
    rotation_matrix[0, 2] += ((size[0] / 2) — image_center[0])
    rotation_matrix[1, 2] += ((size[1] / 2) — image_center[1])
else:
    rotation_matrix = cv2.getRotationMatrix2D(image_center, angle, 1)

cv2.warpAffine(image, rotation_matrix, size)

• هناك العديد من الطلعات الجوية حيث يوجد عدد كبير من الأسقف غير المستطيلة ، بسبب هذا هناك الكثير من العمل اليدوي لتحسين المنطقة ،
• في بعض الأحيان في المنزل مع اتجاهات مختلفة على نفس البلاط ،
• في بعض الأحيان هناك العديد من الخطوط الخاطئة على البلاط ، مما يؤدي في النهاية إلى منعطف خاطئ. تبدو هكذا:

الحل النهائي على أساس Mask-RCNN

• معيار لجميع الشبكات العصبية التلافيفية ، وتخصيص الميزات في الصورة ، مثل الخطوط والانحناءات والحدود المتناقضة وغيرها ؛
• تقوم شبكة اقتراح المنطقة (RPN) بمسح أجزاء صغيرة من الصورة ، تسمى المراسي (المراسي) وتحدد ما إذا كان هذا المرساة يحتوي على علامات مميزة للفئة المستهدفة (في حالتنا ، السقف) ؛
• تصنيف منطقة الاهتمام والمربع المحيط. في هذه المرحلة ، تحاول الشبكة ، استنادًا إلى نتائج المرحلة السابقة ، إبراز مناطق مستطيلة كبيرة في الصورة ، يفترض أنها تحتوي على الكائن المستهدف ؛
• أقنعة التجزئة. في هذه المرحلة ، يتم الحصول على قناع الكائن المطلوب من المنطقة المستطيلة التي تم الحصول عليها من خلال تطبيق مربع الحدود.

المقاييس المستخدمة لتقييم جودة النموذج

from shapely.geometry import Polygon

true_polygon = Polygon([(2, 2), (2, 6), (5, 6), (5, 2)])
predicted_polygon = Polygon([(3, 3), (3, 7), (6, 7), (6, 3)])
print(true_polygon.intersection(predicted_polygon).area / true_polygon.union(predicted_polygon).area)

>>> 0.3333333333333333

• val_mrcnn_bbox_loss - يوضح مدى نجاح النموذج في توطين الكائنات (أي يفرض مربع حدود) ؛
• val_mrcnn_mask_loss - يوضح مدى نجاح نموذج قطع الكائنات (أي يفرض قناعًا).

التدريب على النماذج والتحقق من صحتها

إنشاء خدمة خلفية للاعتراف

sudo vim my_srv.service

• [الوحدة] - تصف ترتيب وحالة البداية (على سبيل المثال ، يمكنك إخبار العملية بانتظار بدء خدمة معينة ثم البدء بنفسك فقط) ؛
• [الخدمة] - تصف معلمات بدء التشغيل ؛
• [تثبيت] - يصف سلوك الخدمة عند إضافتها لبدء التشغيل.

[Unit]
Description=my_test_unit

[Service]
WorkingDirectory=/home/user/test_project
User=root
ExecStart=/home/user/test_project/venv/bin/python3 /home/user/test_project/script.py

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl start my_srv.service

الموجودات