Get best of the week

DataGovernance في المنزل

مرحبا يا هابر!

البيانات هي الأصول الأكثر قيمة للشركة. جاء ذلك من قبل كل شركة تقريبا مع تحيز رقمي. من الصعب الجدال: بدون مناقشة أساليب إدارة البيانات وتخزينها ومعالجتها ، لن يتم عقد مؤتمر كبير لتكنولوجيا المعلومات الآن.

تأتي البيانات إلينا من الخارج ، ويتم تشكيلها أيضًا داخل الشركة ، وإذا تحدثنا عن بيانات شركة الاتصالات ، فإن ذلك بالنسبة للموظفين الداخليين هو مخزن للمعلومات حول العميل واهتماماته وعاداته وموقعه. مع التنميط والتجزئة المؤهلين ، تقدم عروض الإعلانات التصوير بكفاءة أكبر. ومع ذلك ، في الممارسة العملية ، ليس كل شيء وردية للغاية. قد تكون البيانات المخزنة من قبل الشركة قديمة بشكل يائس ، زائدة عن الحاجة ، مكررة ، أو لا أحد يعرف عن وجودها ، باستثناء دائرة ضيقة من المستخدمين. ¯ \ _ (ツ) _ / ¯


باختصار ، يجب إدارة البيانات بشكل فعال - فقط في هذه الحالة ستصبح أصلًا يجلب فوائد وأرباحًا حقيقية للأعمال. لسوء الحظ ، لحل مشاكل إدارة البيانات ، يجب التغلب على بعض الصعوبات. يتم تحديدها بشكل أساسي من خلال التراث التاريخي في شكل "حدائق الحيوان" للأنظمة ، والافتقار إلى العمليات والأساليب المشتركة لإدارتها. ولكن ماذا يعني "إدارة البيانات"؟

هذا ما سنتحدث عنه تحت القطع ، بالإضافة إلى الكيفية التي ساعدتنا بها مجموعة المصادر المفتوحة.

إن مفهوم إدارة البيانات الاستراتيجية لإدارة البيانات (DG) معروف بالفعل في السوق الروسية ، والأهداف التي حققتها الشركة نتيجة لتطبيقها واضحة ومحددة بوضوح. لم تكن شركتنا استثناءً وتضع أنفسنا مهمة تنفيذ مفهوم إدارة البيانات.

إذن ، أين بدأنا؟ بادئ ذي بدء ، قمنا بتشكيل أهداف رئيسية لأنفسنا:

  1. ضمان توفر بياناتنا.
  2. ضمان شفافية دورة حياة البيانات.
  3. امنح مستخدمي الشركة بيانات متسقة ومتسقة.
  4. امنح مستخدمي الشركة بيانات تم التحقق منها.

حتى الآن ، يحتوي سوق البرمجيات على عشرات الأدوات من فئة DataGovernance.



ولكن بعد تحليل ودراسة تفصيليين للحلول ، قمنا بإصلاح عدد من التعليقات النقدية لأنفسنا:

  • تقدم معظم الشركات المصنعة مجموعة شاملة من الحلول ، والتي تعتبر بالنسبة لنا فائضة ومكررة للوظائف الموجودة. بالإضافة إلى ذلك ، تكامل الموارد باهظة الثمن في المشهد الحالي لتكنولوجيا المعلومات.
  • الوظائف والواجهة مخصصة للتقنيين ، وليس للمستخدمين النهائيين.
  • معدل بقاء منخفض للمنتجات وعدم التنفيذ الناجح في السوق الروسية.
  • تكلفة عالية للبرامج والمزيد من الصيانة.

لقد أقنعتنا المعايير والتوصيات المذكورة أعلاه فيما يتعلق باستبدال البرمجيات للشركات المستوردة الروسية بالتقدم نحو تطويرنا على مجموعة المصادر المفتوحة. كمنصة ، اختاروا Django ، إطار مجاني وحر مكتوب بلغة Python. وبالتالي ، حددنا لأنفسنا الوحدات الرئيسية التي ستساهم في تحقيق الأهداف المذكورة أعلاه:

  1. سجل التقارير.
  2. -.
  3. .
  4. BI-.
  5. .




وفقًا لنتائج البحث الداخلي في الشركات الكبيرة ، وحل المشكلات المرتبطة بالبيانات ، يقضي الموظفون 40-80٪ من الوقت في البحث عنها. لذلك ، وضعنا على عاتقنا مهمة جعل المعلومات المفتوحة حول التقارير الحالية التي كانت متاحة في السابق للعملاء فقط. وبالتالي ، فإننا نخفض الوقت اللازم لتشكيل تقارير جديدة ونضمن إضفاء الطابع الديمقراطي على البيانات.



أصبح سجل التقارير نافذة إبلاغ واحدة للمستخدمين الداخليين من مختلف المناطق والإدارات والأقسام. وهي تدمج المعلومات حول خدمات المعلومات التي تم إنشاؤها في العديد من مرافق تخزين الشركة ، وهناك الكثير منها في Rostelecom.

لكن التسجيل ليس مجرد قائمة جافة للتقارير المطورة. لكل تقرير ، نقدم المعلومات اللازمة ليتمكن المستخدم من التعرف عليه بشكل مستقل:

  • ;
  • ;
  • ;
  • ;
  • ;
  • - ;
  • ;
  • ;
  • .

وفقًا للتقارير ، تتوفر تحليلات لمستوى سهولة الاستخدام ، وتقع التقارير في الجزء العلوي من القائمة استنادًا إلى تحليلات السجل حسب عدد المستخدمين الفريدين. وهذا ليس كل شيء. بالإضافة إلى الخصائص العامة ، قدمنا ​​أيضًا وصفًا تفصيليًا لتكوين السمات للتقارير مع أمثلة للقيم وطرق الحساب. هذه التفاصيل تعطي بالفعل إجابة للمستخدم ما إذا كان التقرير مفيدًا له أم لا.

كان تطوير هذه الوحدة خطوة مهمة من حيث دمقرطة البيانات وخفض الوقت المطلوب للعثور على المعلومات المطلوبة بشكل كبير. بالإضافة إلى تقليل وقت البحث ، انخفض أيضًا عدد المكالمات إلى فريق الدعم للحصول على المشورة. من المستحيل عدم ملاحظة نتيجة أخرى مفيدة حققناها من خلال تطوير سجل واحد للتقارير - منع تطوير تقارير مكررة للوحدات الهيكلية المختلفة.

مسرد الأعمال


تعلمون جميعًا أنه حتى داخل نفس الشركة ، يتحدث العمل بلغات مختلفة. نعم ، يستخدمون نفس المصطلحات ، لكنهم يعنون أشياء مختلفة تمامًا. تم تصميم قاموس مصطلحات الأعمال لحل هذه المشكلة.

بالنسبة لنا ، مسرد الأعمال ليس مجرد دليل مع وصف للمصطلحات ومنهجية الحساب. هذه بيئة كاملة لتطوير المصطلحات وتنسيقها والموافقة عليها ، وبناء علاقة المصطلحات مع أصول المعلومات الأخرى للشركة. قبل دخول قاموس مصطلحات الأعمال ، يجب أن يمر المصطلح عبر جميع مراحل التنسيق مع عملاء الأعمال ومركز جودة البيانات. فقط بعد ذلك تصبح متاحة للاستخدام.

كما كتبت أعلاه ، فإن تفرد هذه الأداة هو أنها تسمح لك بإجراء اتصالات من مستوى مصطلح الأعمال إلى تقارير المستخدم المحددة التي يتم استخدامها فيها ، وكذلك إلى مستوى كائنات قاعدة البيانات المادية.



وقد أمكن تحقيق ذلك من خلال استخدام معرفات مصطلحات المصطلحات في وصف تفصيلي لتقارير السجل ووصف لكائنات قاعدة البيانات المادية.

الآن في المسرد تم تعريف والاتفاق على أكثر من 4000 مصطلح. يعمل استخدامه على تبسيط وتسريع معالجة طلبات التغيير الواردة في أنظمة معلومات الشركة. إذا تم تنفيذ المؤشر المطلوب بالفعل في أي تقرير ، فسوف يرى المستخدم على الفور مجموعة من التقارير الجاهزة حيث تم استخدام هذا المؤشر ، وسيكون قادرًا على اتخاذ قرار بشأن إعادة الاستخدام الفعال للوظيفة الحالية أو الحد الأدنى من التحسين دون الشروع في طلبات جديدة لتطوير تقرير جديد.

وصف وصف التحول الفني و DataLineage


تسأل ، ما هي هذه الوحدات؟ لا يكفي فقط تنفيذ "سجل التقارير" و "مسرد المصطلحات" ، ولكن لا تزال بحاجة إلى وضع جميع مصطلحات الأعمال على نموذج قاعدة البيانات الفعلية. وهكذا ، تمكنا من إكمال عملية تشكيل دورة حياة البيانات من أنظمة المصدر إلى تصور BI من خلال جميع طبقات مستودع البيانات. بمعنى آخر ، قم ببناء DataLineage.

لقد طورنا واجهة تعتمد على التنسيق الذي تستخدمه الشركة لوصف القواعد ومنطق تحويل البيانات. من خلال الواجهة ، يتم الحصول على نفس المعلومات كما كان من قبل ، ولكن تحديد مصطلح معرف من مسرد الأعمال أصبح شرطًا مسبقًا. لذا نبني العلاقة بين طبقة الأعمال والطبقات المادية.

من يحتاج هذا؟ ما الذي لا يتناسب مع الشكل القديم الذي عملوا به لعدة سنوات؟ كم زيادة متطلبات العمل لتشكيل المتطلبات؟ كان علينا أن نتعامل مع مثل هذه القضايا في عملية تنفيذ الأداة. هنا الإجابات بسيطة للغاية - نحتاجها جميعًا ، ومكتب البيانات لشركتنا ومستخدمينا.

في الواقع ، كان لا بد من إعادة هيكلة الموظفين ، مما أدى في البداية إلى زيادات طفيفة في تكاليف العمالة لإعداد الوثائق ، لكننا اكتشفنا هذه المشكلة. لقد قامت الممارسة ، وتحديد وتحسين مجالات المشكلة بعملهم. لقد حققنا الشيء الرئيسي - لقد قمنا بتحسين جودة المتطلبات المتقدمة. الحقول الإلزامية ، الدلائل الموحدة ، أقنعة الإدخال ، الشيكات المضمنة - كل هذا جعل من الممكن تحسين جودة أوصاف التحويل بشكل كبير. لقد تركنا ممارسة نقل البرامج النصية في شكل متطلبات التطوير ، والمعرفة المشتركة التي كانت متاحة فقط لفريق التطوير. تقلل قاعدة بيانات البيانات الوصفية التي تم إنشاؤها من الوقت اللازم لإجراء تحليل الانحدار عدة مرات ، وتوفر القدرة على تقييم تأثير التغييرات بسرعة على أي من طبقات مشهد تكنولوجيا المعلومات (تقارير واجهة المحل ، التجميعات ، المصادر).

وأين مستخدمو التقرير العاديون ، ما هي الإيجابيات بالنسبة لهم؟ نظرًا للقدرة على إنشاء DataLineage ، يتلقى مستخدمونا ، حتى أولئك الذين هم بعيدون عن SQL ولغات البرمجة الأخرى ، بسرعة معلومات حول المصادر والكائنات ، والتي يتم على أساسها إنشاء هذا التقرير أو ذاك.

وحدة مراقبة جودة البيانات


كل ما تحدثنا عنه أعلاه بشأن شفافية البيانات ليس مهمًا بدون إدراك أن البيانات التي نقدمها للمستخدمين صحيحة. واحدة من الوحدات الهامة لمفهوم حوكمة البيانات لدينا هي وحدة التحكم في جودة البيانات.

في المرحلة الحالية ، يعد هذا كتالوجًا للتحقق من الكيانات الانتقائية. الهدف المباشر من تطوير المنتج هو توسيع قائمة عمليات التفتيش والاندماج في سجل التقارير.
ماذا ستعطي ولمن؟ بالنسبة للمستخدم النهائي للسجل ، ستكون المعلومات متاحة في التواريخ المخططة والفعلية لتوافر التقرير ، ونتائج عمليات التفتيش المكتملة باستخدام الديناميكيات ، ومعلومات عن المصادر التي تم تحميلها على التقرير.

بالنسبة لنا ، فإن وحدة جودة البيانات المدمجة في إجراءات العمل هي:

  • التشكيل الفوري لتوقعات العملاء.
  • اتخاذ قرارات بشأن الاستخدام المستقبلي للبيانات.
  • الحصول على مجموعة أولية من نقاط المشكلة في المراحل الأولى من العمل لتطوير ضوابط الجودة المنتظمة.

بالطبع ، هذه هي الخطوات الأولى في بناء عملية إدارة بيانات كاملة. لكننا على يقين من أنه فقط من خلال القيام بهذا العمل عن عمد ، وإدخال أدوات DataGovernance بنشاط في سير العمل ، سنوفر لعملائنا المعلومات ، ومستوى عالٍ من الثقة في البيانات ، والشفافية في استلامها وزيادة سرعة إخراج الوظائف الجديدة.

فريق DataOffice

More articles:


All Articles