قواعد البيانات في منصة IIoT: كيف تعمل Mail.ru Cloud Solutions مع بيتابايت من البيانات من أجهزة متعددة

• حول متطلبات قاعدة البيانات الخاصة بنا والحل الشامل ونظرية CAP ؛
• ما إذا كانت خادم قاعدة البيانات + التطبيق في نهج واحد هي رصاصة فضية ؛
• حول تطور المنصة وقواعد البيانات المستخدمة فيها ؛
• , Tarantool’ .

Mail.ru IoT Platform

نموذج تارانتول: كيف بدأ كل شيء

أهدافنا في تطوير منصة إنترنت الأشياء

1. قم بتوصيل مئات الآلاف من الأجهزة في وقت واحد.
2. استقبال ملايين الأحداث في الثانية.
3. معالجة الدفق في وضع الوقت الفعلي تقريبًا.
4. تخزين البيانات الخام لعدة سنوات.
5. أدوات لكل من تحليلات الدفق والتحليلات التاريخية.
6. دعم النشر في مراكز البيانات المتعددة لتحقيق أقصى قدر من التعافي من الكوارث.

إيجابيات وسلبيات النموذج الأولي للمنصة

• Tarantool ، الذي يستخدم كخادم قاعدة بيانات + تطبيق (خادم التطبيقات) ؛
• يتم تخزين جميع البيانات في ذاكرة Tarantool ؛
• تطبيق على Lua في نفس Tarantool ، والذي يؤدي وظائف استقبال البيانات ومعالجتها واستدعاء البرامج النصية للمستخدم على البيانات الواردة.

1. يوجد الكود والبيانات في مكان واحد ، مما يسمح لك بالعمل على البيانات مباشرة في ذاكرة التطبيق وإزالة التكاليف العامة لزيارات الشبكة النموذجية للتطبيقات التقليدية.
2. يستخدم تارانتول JIT (فقط في مترجم الوقت) لـ Lua ، التي تقوم في وقت الترجمة بتجميع كود Lua في كود الآلة ، والذي يسمح بتشغيل نصوص Lua البسيطة بسرعة مماثلة لرمز C (40،000 RPS من قلب واحد - وهذا ليس الحد !).
3. يعتمد Tarantool على تعدد المهام التعاوني ، أي أن كل استدعاء للإجراء المخزن يتم إطلاقه في الألياف الخاصة به ، وهو نظير من coroutine ، والذي يعطي تعزيزًا أكبر في الأداء في مهام عمليات الإدخال / الإخراج ، على سبيل المثال ، زيارات الشبكة.
4. الاستخدام الفعال للموارد - يمكن لعدد قليل من الأدوات معالجة 40.000 طلب في الثانية من وحدة معالجة مركزية واحدة.

1. نحتاج إلى تخزين البيانات الأولية من الأجهزة لعدة سنوات ، ولكن ليس لدينا مئات البيتابايتات من الذاكرة لـ Tarantool.
2. نتيجة مباشرة للإضافة الأولى: رمز النظام الأساسي بأكمله هو الإجراءات المخزنة في قاعدة البيانات ، مما يعني أن أي تحديث لقاعدة التعليمات البرمجية للنظام الأساسي هو تحديث لقاعدة البيانات ، وهو أمر مؤلم للغاية.
3. , . , Tarantool 24-32 (Tarantool ) . — Tarantool, .
4. . - , Tarantool Lua , - , LuaJIT .

الآلام الرئيسية للنموذج الأولي الذي أردنا التخلص منه

1. الابتعاد عن مفهوم خدمة قاعدة البيانات + التطبيق. أردنا تحديث رمز التطبيق بغض النظر عن مخزن البيانات.
2. تبسيط التحجيم الديناميكي تحت الحمل. أردت الحصول على تحجيم أفقي سهل مستقل لأكبر عدد ممكن من الوظائف.

المتطلبات الأساسية لقاعدة البيانات لمنصة إنترنت الأشياء

1. ACID- — , .
2. — .
3. — , near real-time.
4. — - .
5. — , .
6. — ( !), .
7. — , ( !).
8. SQL — .

CAP-

1. الاتساق (اتساق البيانات) - في جميع عقد الحوسبة في وقت واحد ، لا تتعارض البيانات مع بعضها البعض.
2. التوفر - أي طلب لنظام موزع ينتهي بإجابة صحيحة ، ولكن بدون ضمان تطابق إجابات جميع العقد في النظام.
3. تحمل التقسيم - حتى إذا لم يكن هناك اتصال بين العقد ، فإنها تستمر في العمل بشكل مستقل عن بعضها البعض.

1. معاملات ACID والاتساق الصارم (أو على الأقل ليس الاتساق النهائي) هي C.
2. القياس الأفقي للكتابة والقراءة بالإضافة إلى التوفر العالي هو A (متعدد الأساتذة).
3. التسامح مع الخطأ هو P ، عندما يسقط مركز بيانات واحد ، يجب ألا تموت المنصة.

اختيار قاعدة بيانات للبيانات التي تعمل بها منصة إنترنت الأشياء

1. المعلومات الفوقية هي نموذج للعالم والأجهزة والإعدادات والقواعد وجميع البيانات تقريبًا ، باستثناء تلك التي ترسل الأجهزة النهائية.
2. البيانات الأولية من الأجهزة - قراءات أجهزة الاستشعار والقياس عن بعد ومعلومات الخدمة من الأجهزة. في الواقع ، هذه سلاسل زمنية ، حيث تحتوي كل رسالة على قيمة وطابع زمني.

اختيار قاعدة بيانات لبيانات التعريف

1. دعم الأشجار بعرض وعمق تعسفيين.
2. تعديل عناصر الشجرة في معاملات ACID.
3. أداء عالي عند اجتياز شجرة.

1. لضمان الاتساق بين قاعدتي بيانات ، تحتاج إلى إضافة منسق معاملات خارجي.
2. هذا التصميم من الصعب الحفاظ عليه وغير موثوق به للغاية.
3. عند الإخراج نحصل على قاعدتي بيانات بدلاً من واحدة ، في حين أن قاعدة بيانات الرسم البياني مطلوبة فقط لدعم الوظائف المحدودة.

حل ممكن ولكن ليس جيدًا جدًا مع قاعدتي بيانات

• مسافة - تناظرية للجداول في قاعدة البيانات لتخزين البيانات.
• معاملات ACID كاملة.
• النسخ المتماثل غير متزامن باستخدام سجلات WAL.
• أداة تقسيم تدعم إعادة المشاركة التلقائية.
• Superfast LuaJIT للإجراءات المخزنة.
• مكتبة قياسية كبيرة.
• مدير حزم LuaRocks مع المزيد من الحزم.

• مساحة لتخزين البيانات.
• معاملات ACID - كانت متاحة.
• النسخ المتزامن غير المتزامن - كان متوفرا.
• العلاقات - تتم على الإجراءات المخزنة.
• الأشجار - مصنوعة أيضًا في الإجراءات المخزنة.

اختيار قاعدة بيانات للبيانات من الأجهزة

1. السلاسل الزمنية - البيانات من أجهزة الاستشعار هي السلاسل الزمنية ، أردت الحصول على قاعدة متخصصة.
2. المصدر المفتوح - مزايا رمز المصدر المفتوح لا تحتاج إلى تعليقات.
3. الكتلة الحرة هي آفة شائعة بين قواعد البيانات الجديدة.
4. ضغط جيد - نظرًا لكمية البيانات وبشكل عام توحيدها ، أردت ضغط البيانات المخزنة بكفاءة.
5. عملية ناجحة - أردنا أن نبدأ في قاعدة بيانات يستغلها بالفعل شخص نشط بالفعل بالقرب من حمولاتنا من أجل تقليل المخاطر.

مشاكل قواعد البيانات لهذه الأجهزة وحلها

1. المثابرة - هي (WAL-logs + snapshots).
2. الأداء - هناك كل البيانات الموجودة في الذاكرة.
3. تحجيم - هناك تكرار + تقسيم.
4. توافر عالية - هناك.
5. أدوات تحليل السلاسل الزمنية (التجميع ، التجميع ، إلخ) - المصنوعة على الإجراءات المخزنة.
6. TTL - يتم إجراؤه على الإجراءات المخزنة باستخدام ألياف خلفية واحدة (coroutine).

نوع البيانات الجديد - الحالة وتخزينها

1. هذه هي الطريقة الأكثر شيوعًا لاستخدام Tarantool.
2. التحجيم الأفقي - هناك نسخ غير متزامن + تقسيم.
3. الاتساق على مستوى المستند - هو.

كيفية اختيار قاعدة بيانات لمنصة إنترنت الأشياء

1. لا توجد قاعدة بيانات عالمية.
2. لكل نوع من البيانات قاعدة بيانات خاصة به هي الأنسب له.
3. في بعض الأحيان قد لا تكون قاعدة البيانات التي تحتاجها متاحة في السوق.
4. Tarantool مناسب كأساس لقاعدة بيانات متخصصة.

1. ما قاعدة البيانات للاختيار للمشروع ، حتى لا تختار مرة أخرى .
2. أكثر من Ceph: حظر التخزين في سحابة MCS .