Get best of the week

استخدام شبكات Flowmon لمراقبة أداء التطبيقات وقواعد البيانات الموزعة



مقال أعده دميتري أندريشينكو | تنفيذي مبيعات ، روسيا وكومنولث الدول المستقلة | Flowmon Networks

مرحبًا بكم في صفحة مقالتنا الجديدة حول حل مشكلات مراقبة أداء تطبيقات الشبكات الموزعة وقواعد البيانات. هذه المقالة هي استمرار لسلسلة من المنشورات المخصصة لحلول شبكات Flowmon ، وعلى وجه الخصوص ، استمرار للمراجعة " مراقبة الشبكة والكشف عن نشاط الشبكة غير الطبيعي " باستخدام التقنيات غير الموقعة.
فلنبدأ ، ولكن في البداية سنذكر بضع كلمات حول شبكات Flowmon والقضية.

بالنسبة لمن هم كسالى جدًا في القراءة ، سيتم عقد ندوة عبر الإنترنت حول حلول Flowmon Networks قريبًا .

شبكات Flowmon ، كما


Flowmon Networks هي شركة أوروبية لتكنولوجيا المعلومات تم تسليط الضوء عليها في ساحات وتقارير Gartner ، وهي متخصصة في تطوير حلول مبتكرة لرصد الشبكة ، وأمن المعلومات ، وحماية DDoS ، بالإضافة إلى موضوع مقالنا اليوم - مراقبة أداء تطبيقات الشبكة وقواعد البيانات.

يقع المقر الرئيسي للشركة في برنو ، جمهورية التشيك. بالنسبة للعميل النهائي ، فإن هذا له ميزة رئيسية واحدة - القدرة على العمل مع الشركات المدرجة في قائمة العقوبات. اقرأ المزيد عن Flowmon Networks هنا أو هنا .

ولكن ما هو مبتكر في حلول Flowmon ، تسأل؟ بعد كل شيء ، ليست أي من المجالات المذكورة أعلاه جديدة في السوق. توجد جدران حماية أو أنظمة كشف التسلل لفترة طويلة وبنجاح ، وموضوع المراقبة ليس جديدًا في حد ذاته. كل شيء صحيح ، ولكن كالعادة "الشيطان يكمن في التفاصيل".

خذ بعين الاعتبار ، على سبيل المثال ، موضوع أمن معلومات الشبكة. ما الذي يتبادر إلى الذهن أولاً؟ جدار الحماية أو ربما IDS / IPS؟ ربما حتى جدار الحماية NG. هذا صحيح ، هذا كلاسيكي جيد مثبت ، ولكن له عيبان مهمان:

  • نهج التوقيع المحدود لتحديد القضايا الأمنية ،
  • نقطة الحماية فقط على المستوى الحدودي لأجزاء الشبكة.

نحن نتحدث عن تطبيق تقنية التحليل الإرشادي وتعلم الآلة. بعبارة أخرى ، الذكاء الاصطناعي. المزايا واضحة - لا توجد توقيعات ثابتة تحمي من هجمات يوم الصفر إلا إذا كانت محدثة وذات صلة.
سيسمح لك التحليل بدون توقيع بتسجيل الهجمات غير المعتادة على مستوى التطبيق ، وانحرافات تنسيق البروتوكول عن RFC ، والعديد من المشاكل الأخرى التي تسبب الكثير من الصداع للمسؤولين كل يوم.

بالإضافة إلى ذلك ، فإن الميزة الرئيسية الثانية ليست مجرد التحكم في حركة المرور عند "تقاطع" الأجزاء أو المحيط ، والذي يتم حله بوسائل الحماية القياسية ، ولكن التحكم الكامل و "الشفافية" لكل اتصال بالشبكة في الشبكة.

نحن لا نقترح استبدال الدفاعات الحالية ، نقول أنه في عالم حديث بتكنولوجيات تتطور باستمرار وتهديدات محتملة ، لم تعد مجموعة قياسية من الدفاعات كافية. كتبنا عن هذا في وقت سابق ، هنا.

هناك وضع مماثل يتعلق بمهام مراقبة عمل وأداء تطبيقات الشبكة ، بالإضافة إلى قواعد البيانات. أعتقد أن الجميع على دراية بموقف يشكو فيه المستخدمون من عمل تطبيق الأعمال ، ولكن لم يتم حل المشكلة. يدعي مسؤولو الشبكة أن كل شيء على ما يرام مع شبكة LAN ويشيرون إلى مشاكل في التطبيق نفسه. يتحقق مسؤولو التطبيق من الخادم ، وسجلات الأحداث ، و DBMS ، وتبين أن كل شيء يصلح لهم أيضًا. ونتيجة لذلك ، لم يتم تشخيص المشكلة ، على كل المستويات "كل شيء على ما يرام" ، والإداريون "إيماءة" على بعضهم البعض ، ولا شيء يعمل للمستخدم النهائي. ما يجب فعله غير واضح. لقد حدث؟ هذا ما سنتحدث عنه اليوم.

هندسة الحلول


لفهم الأساليب والتقنيات التي تستخدمها Flowmon Networks بشكل صحيح لحل مشكلات مراقبة أداء التطبيقات وقواعد البيانات الموزعة ، تجدر الإشارة إلى أن التحليل بأكمله يعتمد على معلومات حول حركة مرور الشبكة التي يتم إرسالها إلى النظام. واحدة من مزايا هذا النهج هو عدم وجود برنامج وكيل على محطات العمل والخوادم . بالطبع ، لن تكون قادرًا على قياس أداء Solitaire Solitaire ، ولكن من الممكن تمامًا تحديد استعلام SQL الذي "علق" قاعدة البيانات ، أو الزر الذي يتم بعده تعليق التطبيق.

في المقالة الأخيرةلقد قمنا بالفعل بفحص مجموعة منتجات Flowmon Networks وعملية تثبيت النظام على بيئة VMware EXSi الافتراضية ، لذلك لن نكررها. سيكون الاختلاف الوحيد في حالتنا هو طريقة استقبال حركة المرور. نظرًا لأن أيا من بروتوكولات Flow لا ينقل معلومات حول محتويات الحزم التي نحتاجها لتحليل عمل بروتوكولات المستوى 7 باستخدام نموذج ISO OSI ، فسوف نستخدم منفذ SPAN (محلل المنفذ المحول) المنعكس في المحول لجمع البيانات.

في هذه الحالة ، ستبدو بنية الحل كما يلي:



يعكس المفتاح (المفاتيح) حركة المرور المطلوبة إلى خادم مخصص (Flowmon Probe) ، المسؤول عن معالجته وتحويله إلى تنسيق غني بـ IPFIX ، والذي يتم نقله بعد ذلك إلى العقدة المركزية (Flowmon Collector) للتخزين والارتباط والتحليل. بدلاً من منفذ SPAN ، بالمناسبة ، يمكنك استخدام مقسم حركة مرور TAP:



مزايا خيار النشر هذا هي:

  • الاستقلال عن طراز ومصنع معدات الشبكة (Cisco ، Juniper ، أي) ،
  • عدم وجود حمل إضافي على معدات الشبكة الموجودة ،
  • الحفاظ على البنية المنطقية الحالية لشبكة الشركة.

في الواقع ، يمكن أن يكون كل مكون من مكونات النظام إما خادمًا مخصصًا للأجهزة أو جهازًا افتراضيًا. في الحالة الثانية ، سيشتمل Flowmon Collector على مسبار Flowmon متكامل ، ولكن الأداء سيكون أقل بشكل طبيعي.

العقدة المركزية (Flowmon Collector) مبنية على مبدأ البنية المعيارية ويتم تكوينها بشكل فردي لمهام كل عميل:



يتكون Flowmon Collector من نظام أساسي (استكشاف أخطاء رؤية الشبكة وإصلاحها) ، والذي يتضمن جميع الوظائف التي يحتاجها مسؤولو الشبكة لمراقبة حركة المرور في الشبكة المحلية مع تفاصيل لكل محدد اتصال الشبكة ، بالإضافة إلى عدد من الوحدات الإضافية والمرخصة بشكل منفصل:

  • الوحدة النمطية لأمان الكشف عن الشذوذ (ADS) - الكشف عن نشاط الشبكة غير الطبيعي ، بما في ذلك هجمات يوم الصفر ، بناءً على التحليل الإرشادي لحركة المرور وملف تعريف الشبكة النموذجي ؛
  • وحدة مراقبة أداء التطبيقات (APM) - مراقبة أداء تطبيقات الشبكة دون تثبيت "عوامل" والتأثير على الأنظمة المستهدفة ؛
  • وحدة تسجيل حركة المرور (TR) - تسجيل أجزاء من حركة مرور الشبكة عن طريق مجموعة من القواعد المحددة مسبقًا أو عن طريق مشغل من وحدة ADS ، لمزيد من استكشاف الأخطاء وإصلاحها و / أو التحقيق في حوادث أمن المعلومات ؛
  • وحدة حماية DDoS (DDoS) - حماية محيط الشبكة من هجمات رفض الخدمة DoS / DDoS الحجمية.

في هذه المقالة ، سنلقي نظرة على كيفية عمل كل شيء بشكل مباشر باستخدام مثال وحدتين - استكشاف أخطاء رؤية الشبكة وإصلاحها ومراقبة أداء التطبيق.

تثبيت الحل


لقد كتبنا بالفعل حول موضوع نشر جهاز افتراضي ؛ كل شيء يتم بسرعة وببساطة من قالب OVF. لن نكرر أنفسنا ، نتذكر فقط متطلبات موارد النظام:



في جانب Flowmon Collector ، سيكون الفرق الرئيسي بين مراقبة حركة مرور SPAN من مراقبة NetFlow هو طريقة استقبال البيانات. إذا استخدمنا سابقًا واجهة الإدارة لـ NetFlow مع تكوين IP الخاص بنا ، فعندئذٍ لتلقي حركة مرور SPAN ، نحتاج إلى واجهة المراقبة ، وهي في الواقع واجهة L2 مرتبطة ببرنامج Hypervisor المخصص مع منفذ فعلي مخصص على هيكل الخادم.



وبعبارة أخرى ، فإن واجهة المراقبة هي مسبار Flowmon المدمج في مجمع Flowmon.

الخطوة التالية هي التحقق من تكوين المنفذ المخصص بشكل صحيح وجاهز لاستقبال حركة المرور على Flowmon Collector.



في حالتنا ، يتم شغل منفذ UDP / 2055 بواسطة IPFIX / NetFlow من معدات الشبكة ، لذلك بالنسبة لحركة المرور باستخدام Flowmon Probe ، سنأخذ منفذ UDP / 3000. ليس من الضروري فصل حركة المرور عن طريق المنفذ من مصادر مختلفة ، ولكنه أكثر ملاءمة وبساطة من حيث المراقبة واستكشاف الأخطاء وإصلاحها.

بعد ذلك ، نقوم بتكوين تصدير حركة المرور من Flowmon Probe إلى Flowmon Collector. للقيام بذلك ، في مركز التكوين -> قسم مراقبة الموانئ ، تحقق من الإعدادات الحالية. تحتاج بشكل أساسي إلى التأكد من تشغيل مراقبة التطبيقات المطلوبة للمستوى 7 ISO OSI ، لأنه يتم إيقاف تشغيله افتراضيًا.



من الناحية المثالية ، قم بتضمين البروتوكولات التي تريد التحكم فيها فقط ، ولكن يمكنك ببساطة تشغيل كل شيء.

نحفظ الإعدادات وننتقل مرة أخرى إلى الشاشة الرئيسية لمركز التكوين ، وتحتاج إلى التأكد من إرسال حركة المرور من Flowmon Probe بشكل صحيح إلى Flowmon Collector.



تحقق أيضًا في مركز مراقبة التدفق -> قسم المصادر.



نرى أن حركة المرور بدأت تتدفق ، يعمل النظام. يمكنك الانتقال مباشرةً إلى تهيئة وحدة مراقبة أداء التطبيق (APM).

وحدة مراقبة أداء التطبيقات (APM)


سوف نتعامل مع ما هو بالضبط بالضبط وكيف سنسيطر عليه. ما هي المعلمات التي تتحكم فيها Flowmon APM؟

  • تحليل استعلامات HTTP و SQL المشكوك فيها ، وخادم التطبيقات ورموز خطأ استجابة قاعدة البيانات ،
  • التأخير وخسائر الحزم التي تحدث أثناء التفاعل بين العميل والخادم ، وكذلك في تفاعل خوادم التطبيقات مع بعضها البعض ومع خوادم قواعد البيانات ،
  • معلومات حول كل معاملة (الرقم والحجم والوقت وعنوان IP ومعرف الجلسة واسم المستخدم ...) ، بالإضافة إلى قائمة المعاملات الخاضعة لانتهاكات اتفاقية مستوى الخدمة ،
  • زمن استجابة التطبيق (الحد الأقصى ، الحد الأدنى ، المتوسط ​​، النسبة المئوية ...) ووقت الإرسال على مستوى النقل ،
  • عدد جلسات المستخدم المتزامنة ، ...



ما هي البروتوكولات التي تدعمها Flowmon APM؟

  • HTTP 1.1 ، HTTP 2.0 ، SSL و TLS ،
  • SQL (بما في ذلك MSSQL و Oracle و PostgreSQL و MySQL و MariaDB) ،
  • البريد الإلكتروني (بما في ذلك SMTP ، IMAP ، POP3) ،
  • VoIP SIP ،
  • DHCP ، DNS ، SMB (بما في ذلك v1 ، v2 ، v3) ، AS ، NBAR2 ،
  • SCADA / IoT (بما في ذلك IEC 60870-5-104).

نتيجة لذلك ، لكل تطبيق أو قاعدة بيانات خاضعة للمراقبة ، يحسب النظام قيمة مقياس مؤشر APM ، والذي يختلف من 0 إلى 100 ويعتمد على الحالة الحالية للخدمة. كلما زادت قيمة المقياس ، كان ذلك أفضل.



تسمح الواجهة القابلة للتخصيص القائمة على الأدوات ولوحات المعلومات للمسؤول بتخصيص النظام بشكل فردي لنفسه والتحكم بالضبط في مقاييس مؤشر APM التي يحتاجها. في المثال أدناه ، يتحكم النظام في بوابة الإنترنت (WebEshop) وقاعدة البيانات الخاصة بها (MySQL_DB).



في هذا المثال ، تنقسم تحليلات الأداء إلى ثلاث كتل:

1. الأداء العام للتطبيق وقاعدة البيانات خلال اليوم الأخير.



للاكتمال ، يتم عرض مؤشر أداء التطبيق مع فهرس أداء قاعدة البيانات. يعد هذا ملائمًا بما يكفي لاستكشاف الأخطاء وإصلاحها وفهم المنطقة المحددة التي تنشأ فيها المشكلة.

على سبيل المثال ، في حالتنا ، يكون مؤشر أداء قاعدة البيانات بالترتيب ، فهو 96.839 من أصل 100. ولكن مع تطبيق WebEshop ، هناك مشاكل واضحة ، والفهرس هو فقط 63.761 من أصل 100.

يمكنك ملاحظة سبب هذا التصنيف على الفور - وقت استجابة مرتفع لطلبات المستخدم. يبلغ متوسط ​​الوقت 21.148 ثانية ويبلغ الحد الأقصى 151.797 ثانية. إذا كنت مسؤولاً عن تطبيق عبر الإنترنت ، فأنت تدرك أن القليل من المستخدمين سينتظرون حتى يتم تحميل الصفحة 2.5 دقيقة ... حسنًا ، إذا حدث ذلك مرة واحدة ، وإذا كان المستخدم بحاجة إلى الانتقال 2-3-4 ... صفحات؟ هذه بالفعل مشكلة.

2. مؤشر APM لليوم الأخير.

مع هذا القسم ، كل شيء بسيط وواضح. يعرض نسبة عدد الاستعلامات من إجمالي مؤشر APM للتطبيق أو قاعدة البيانات.



كل عنصر من عناصر لوحة التحكم تفاعلي ويمكن النقر عليه. كل شيء يتبع مبدأ التوغل ، عند اختيار منطقة مثيرة للاهتمام على الرسم البياني ، يمكنك "الفشل" بمستوى واحد أدناه للحصول على معلومات أكثر تفصيلاً.



عند اختيار الفترة الزمنية التي تم فيها إصلاح المشكلة ، سيجد المسؤول بسرعة إجابات عن الأسئلة:

  • ما استعلامات SQL التي تم تنفيذها في هذه اللحظة؟
  • ماذا وكم عدد المستخدمين الذين عملوا مع النظام؟
  • كيف استجاب النظام لطلبات المستخدم؟
  • ما هو وقت رد الفعل وتأخير النظام؟
  • كيف ترتبط مشاكل التطبيق بتفاعل قاعدة البيانات؟
  • كيف يعمل النظام مع اتفاقية مستوى الخدمة المحددة؟
  • وأكثر بكثير…

3. أبطأ خمس استفسارات في اليوم الأخير.

بوابة HTTP الحديثة أو تطبيق WEB هو برنامج معقد ومعقد. مثل أي تطبيق آخر ، يتكون من صفحات ووحدات مختلفة لم يكتبها مبرمج واحد دائمًا. في كثير من الأحيان ، يعد الموقع الحديث هو محرك CMS حيث يتم تثبيت العشرات من وحدات الجهات الخارجية التي تعمل على توسيع الوظائف الأساسية. في بعض الأحيان تعمل هذه الوحدات بشكل جيد ، وأحيانًا لا تعمل بشكل جيد. لا يمكن دائمًا فهم مكان حدوث المشكلة بسرعة ويستغرق استكشاف الأخطاء وإصلاحها أكثر من ساعة أو يوم.

مع Flowmon APM ، يصبح كل شيء شفافًا.



إذا كنت مهتمًا بمزيد من التفاصيل ، فانقر على رمز "المكبر" واحصل على التفاصيل. على سبيل المثال ، بالنسبة لتطبيق HTTP:



أو لقاعدة بيانات:



بالطبع ، يتم تصدير كل شيء إلى CSV ، والحقول والأعمدة قابلة للتخصيص ، ويمكن حفظ المرشحات.

الأدوات التي تمت مناقشتها هي مثال على الإعدادات الافتراضية القياسية. إذا لزم الأمر ، يمكن تخصيص النظام للمهام الفردية - إنشاء لوحات التحكم الخاصة بك وعرضها على الشاشة الرئيسية. كمثال ، رموز خطأ استجابة قاعدة البيانات:



أو رموز خطأ HTTP:



نريد أيضًا أن نلفت انتباهك إلى نقطة مهمة - وظيفة المراقبة الاستباقية. لا يقوم النظام فقط "بالاستماع" وتحليل حركة المرور في الوضع السلبي ، ولكنه أيضًا يحاكي بشكل مستقل تفاعل المستخدم "الافتراضي" مع النظام. يُسمى هذا النهج المستخدمون الاصطناعيون ويسمح لك بالتحقق تلقائيًا من حالة التطبيق واكتشاف مشكلة في اللحظة التي يبدأ فيها للتو ، وليس بعد الشكاوى الأولى من المستخدمين. لهذا ، على سبيل المثال ، يتم تكوين البرامج النصية المجدولة للتحقق من توفر التطبيق والوظائف ووقت الاستجابة.

ما هي النتيجة؟


هذا المثال هو عرض واضح لقدرات النظام ووحدة مراقبة أداء التطبيقات (APM) ، على وجه الخصوص. لا يمكنني القول أن العمل مع Flowmon APM يجعل عملية حل المشكلات أمرًا ممتعًا ، ولكن من المؤكد أن هذه العملية مبسطة وأسرع بكثير.

هل لديك أسئلة أو تريد اختبار النظام؟ سنساعد ، اتصل بنا .

نلخص الاستنتاجات التي يمكننا استخلاصها حول Flowmon في الخلاصة:

  • Flowmon - حل عالي المستوى للعملاء من الشركات ؛
  • نظرًا لتنوعه وتوافقه ، يتوفر جمع البيانات من أي مصادر: معدات الشبكة (Cisco ، Juniper ، HPE ، Huawei ...) أو تحقيقات الملكية (Flowmon Probe) ؛
  • , ;
  • ;
  • «» – ;
  • Flowmon – , 100 /;
  • Flowmon – ;
  • / .

نريد أيضًا أن ندعوك إلى ندوة الويب الخاصة بنا والمخصصة لحلول مورد Flowmon Networks . للتسجيل المسبق ، يرجى التسجيل هنا.

هذا كل شيء الآن ، شكرا لاهتمامك!

More articles:


All Articles