🤮 👩‍👧‍👧 🌠 ميزات البيانات المستندة إلى البيانات في البتروكيماويات 🎲 〰️ 🏓

عند إنشاء أي عمل ، يعمل كل قسم من أقسامه على أتمتة نفسه. كقاعدة ، تكون تدفقات البيانات من طرف إلى طرف بينهما مفردة. هذا يؤدي إلى حقيقة أنه لا يمكن مقارنة البيانات مع بعضها البعض ، لأن كل قسم يعتبرها بطريقتها الخاصة. لا توجد مشكلة إذا جمعت بعض المقاييس للشركة بأكملها ، ولكن عندما يتعلق الأمر بحساب المؤشرات من البداية إلى النهاية ، أو التنبؤات أو حل مشكلات النمذجة والتحسين ، تبدأ الفوضى.

تخزين البيانات (DWH) ليست قصة جديدة. تقليديا ، تم استخدامها لإعداد التقارير. لكن النمذجة الكاملة والتنبؤ بالعمليات التجارية الشاملة لبيانات DWH بدأت في الآونة الأخيرة نسبيًا. باستخدام البيانات التي تم جمعها ، تجعل أدوات التحليل الحديثة من الممكن ليس فقط إنشاء لوحات تحكم بنوافذ منسدلة ، ولكن أيضًا لإعداد خوارزميات التنبؤ والتحسين لكل سمة ، لتوسيع نطاق خوارزميات نظرية اللعبة للمؤسسة بأكملها ككل. وأيضًا بناء الفرضيات واختبارها على الفور حول التطوير الإضافي للأعمال على البيانات الحقيقية.

ويبدو أن كل شيء يبدو رائعًا. ولكن ليست كل الشركات في عجلة من أمرها لأخذ مثال من كبار الخبراء (Booking.com ، Amazon.com) ومواصلة العمل كالمعتاد. إذن ما الذي يمنعهم؟ كحد أدنى ، فهم جدوى الاستثمارات واسعة النطاق في أدوات معالجة البيانات ، وصعوبة تنفيذ عمليات وصف البيانات ، وظهور أدوار جديدة (أمناء البيانات المسؤولين عن جودة البيانات ، ومهندسي البيانات والمهندسين المعماريين ، وما إلى ذلك) ، وتعلم كيفية النظر في التأثير الاقتصادي لتنفيذ إدارة البيانات ، وعزل محركات التكلفة بشكل واضح ، وكيفية جعل المكتب مكتفيًا ذاتيًا ، والتوفيق مع استراتيجية الشركة واختيار تلك التي ستدفع الشركة إلى الأمام ، وأكثر من ذلك بكثير.

اسمي فيكتوريا كراسنوفا ، وأنا رئيس إدارة بيانات الشركات في SIBUR. جنباً إلى جنب مع زميلي ، رئيس فريق إدارة البيانات ، رينات عبد الرحمنوف ، سنخبرك كيف نقوم بذلك.

عندما بدأ تجار التجزئة الكبار (Wallmart) في الرقمنة ، كان عليهم معرفة أي آثار أقدام رقمية وتحف أثرت عليها عملية تجارية واحدة وما هي الخطوة التالية كمدخلات. أي وصف عملية العمل من البداية إلى النهاية. والشيء نفسه مطلوب لرقمنة أي شركة أخرى. طريقة واحدة للإجابة على هذا الطلب هو مفهوم إدارة البيانات وهندسة البيانات.

وهذا يعني بالمعنى التطبيقي: جمع بيانات الشركة الأكثر أهمية وغير مهمة في مكان واحد ، ووصفها بلغة واضحة ، والربط بالعمليات التجارية وإنشاء طرق سهلة الاستخدام للوصول إلى هذه البيانات.

توفر بنية البيانات ، من بين وظائفها الأخرى ، إجابات واضحة على الأسئلة "أين يتم النظر فيها؟" ، "ما الذي يعتبر؟" ، "لماذا يتم النظر فيه؟" ، "من المسؤول عن الجودة؟" و "أين يقع ، في أي نظام هو؟".

من المهم أن تكون إجابات هذه الأسئلة منفصلة عن العمل نفسه. غالبًا ما يحدث بهذه الطريقة: يريد المحلل اختبار فرضية. للقيام بذلك ، يحتاج إلى الذهاب وطلب البيانات اللازمة من أصحابها ، وإثبات سبب ولماذا هذا ضروري ومهم ، وقضاء نصف يوم على هذا. أفضل سيناريو. والحصول في النهاية على الرفض. لماذا ا؟ لأن مالك البيانات مسؤول عن توفير الوصول إلى البيانات ونشرها لاحقًا ، لأنه من غير المعروف كيف سيتم تفسير البيانات من قبل المحلل وقد لا تناسبه ، إلخ.

لذلك ، من الضروري بناء مثل هذا الهيكل والمنطق الذي سيكون بديهيًا ، ويعمل وفقًا لقواعد موحدة ولن يشتت انتباه المحلل نفسه أو مالك البيانات عن المهام الفورية.

لهذه الأغراض ، يعد نموذج البيانات المنطقية ممتازًا - وصف للبيانات في لغة الأعمال بالتفصيل إلى التفاصيل الفنية ، إلى جانب نموذج دور مرن. في هذه الحالة ، يتمكن المحلل من الوصول إلى المستودع ومجموعة البيانات بناءً على دوره في الشركة. ويجمع مجموعة البيانات المطلوبة على أساس المنطق السليم ، وليس على أساس أن رفيقًا معينًا كان يعمل في الشركة عام 2005 ، والذي يحتوي ملفه على البيانات المطلوبة.

يسمح مثل هذا النهج للهيكلة للأشخاص بالتحليل بسرعة ، ويجعل البيانات قابلة للمقارنة ، ونتيجة لذلك يسمح بتحقيق فوائد ثانوية - لرقمنة الأعمال بأكملها على مراحل.

ما هي التحديات التي تواجهنا

في SIBUR ، يتم رقمنة بعض العمليات بشكل جيد تمامًا ، على سبيل المثال ، إعداد البيانات للتسويق والتمويل وإدارة سلسلة التوريد وبيانات الإنتاج وتجاوز مصانع الإنتاج. كل شيء آخر أكثر صعوبة ، لأن SIBUR هو إنتاج بدورة لا تحتاج فيها ، من وجهة نظر الأعمال ، إلى جمع المعلومات بنفس السرعة المطلوبة في تجارة التجزئة أو الاتصالات أو البنوك. وبناء على ذلك ، لم تثر مسألة السرعة في تحليل البيانات. ولكن صعب - لا يعني المستحيل. نخطط هذا العام لتحسين العمليات ، وجعل حساب البيانات أكثر شفافية ، وزيادة معدل نقل البيانات لاتخاذ القرار ، وكذلك البدء في جمع المسارات الرقمية في جميع مراحل العمليات ، حيثما أمكن.

لماذا تعد الشركات الرقمية دقيقة للغاية وسريعة لاتخاذ القرار؟ لأنه لا يوجد هامش عمليًا لخطأ إذا تبين أن البيانات فجأة خاطئة. في الإنتاج ، كل شيء مختلف - لن يتوقف ، لن تصمد النباتات إذا كان هناك أي عدم دقة في بيانات التحليلات. لذلك ، فإن بنية البيانات هي القوة التي تقود ، على عكس كل شيء ، الإنتاج في الاتجاه الرقمي. وإدارة البيانات هي مكتبة تتيح لك تبسيط تدفق البيانات في جميع أنحاء الشركة.

أطلقنا مؤخرًا خطًا يتناول وصف البيانات. أثناء بحثنا عن أداة لوصف البيانات ، قم بتخزين الأوصاف والوصول إليها بسهولة. إذا كانت أداة الوصف غير ملائمة ، وبسبب هذا لن نتمكن من مواصلة الفهرسة حتى الآن ، فلن يكون استخدامها منطقيًا بعد الآن. ونتيجة لذلك ، قد لا تكون البيانات نفسها في المستودع ذات صلة. لماذا نحتاج إلى بناء شيء على أساس البيانات التي انتهت صلاحية تاريخ انتهاء صلاحيتها بالفعل؟

هنا لدينا مهمة أخرى: كيفية تحفيز المهندسين المعماريين المصاحبين لأنظمة المعلومات الحالية ، ووصف البيانات وتحديثها باستمرار. يحظى مبدأ "أنت تبنيه ، تديره" بشعبية في الشركات الرقمية. يقوم تاريخنا بتطبيقها حتى يتمكن بعض الناس من تقديمها ، ولكن البعض الآخر يدعمها. غالبًا ما تكون الوثائق غير محدثة ، وبعض الخوارزميات تعيش فقط في أذهان الموقتات القديمة. لذلك ، فإن وصف الأنظمة هو عمل شاق للغاية ، خاصة عندما يتم تنفيذه من الصفر (كما في حالتنا). في الواقع ، في الواقع ، سيأتي تأثير هذا العمل لهم في وقت لاحق ، فقط بعد وصف كتلة حرجة من البيانات. ولكن في النهاية ، عند إدخال نظام جديد آخر ، لن يضطروا للبحث عن البيانات لتشغيلها. يستغرق الأمر الآن أسبوعين أو أكثر للبحث عن هذه البيانات.

البيانات مطلوبة ليس فقط لإدخال أنظمة جديدة ، ولكن أيضًا لاختبار الفرضيات. عادة ما تنشأ الكثير ، ويتم اختبارها على دفعات. وفي الواقع ، اتضح أن هناك بيانات ، وهناك الكثير منها ، فهي متنوعة ، ولكن يتم إنفاق الكثير من الوقت والمال فقط على بحثهم.

نقطة أخرى عندما يؤدي تغيير البيانات "بدون تحذير" في مكان واحد إلى جعل البيانات في المكان الآخر غير صحيحة. على سبيل المثال ، يستخدم مؤشر "حجم الإنتاج" لمراعاة الخسائر في مراحل إعادة التوزيع ، ثم توقف. قاموا بتغيير النظام ، لكن الباقي ليسوا محدثين ، ويستمرون في استخدام المؤشر كما كان من قبل. ونتيجة لذلك ، فإن البيانات الخاصة باتخاذ قرار الإدارة غير صحيحة. أو في مرحلة ما اتضح أن البيانات غير قابلة للمقارنة ، يبدأ الناس في البحث عن الأخطاء. وهذا أيضًا عمل ، غير مرئي ولا يُحصى.

بشكل عام ، كما تفهم ، واجهنا تمامًا مشكلة اختيار أداة للعمل مع البيانات. وقبل أن تذهب وتختار أداة ، تحتاج إلى كتابة معايير مناسبة لمثل هذا الاختيار.

معايير اختيار الأداة

نحن نبحث عن أداة تدعم وصف البيانات الوصفية في شكل نموذج كائن مع القدرة على إضافة أنواع جديدة من الكائنات بشكل مستقل. لا تقدم جميع المنتجات هذه الميزة. على سبيل المثال ، تسمح لك بعض الأدوات بعرض الجداول المادية فقط ككائنات ، ولكن لا توجد فئة من الكائنات للكيانات المفاهيمية أو المنطقية.
تكوين مرن للاتصالات بين الكائنات مهم جداً. على سبيل المثال ، لدينا اليوم ثلاثة مستويات منطقية للتجريد ، ولكن يجب أن نكون محدودين في قدرتنا على إسقاط أو إضافة أي عدد من المستويات.

معيار آخر مهم هو وجود موصلات مدمجة لأنظمة المصدر ، خاصة SAP. لدينا الكثير من SAPa (أعتقد أن أي شركة كبيرة ، من حيث المبدأ ، لديها الكثير من SAPa) - يعد التثبيت الضخم ، وجرفه بيديك مهمة لا شكر لها تمامًا. مثالية إذا كان هناك واحد. إذا لم يكن هناك مثل هذا الرابط ، فيمكنك كتابته بنفسك.

دعونا لا ننسى البحث عن النص الكامل ، البحث الدلالي مع القدرة على إضافة قواميسك الخاصة من المرادفات (على سبيل المثال ، Elasticsearch المتكامل).

يلعب دور مهم من خلال إمكانية ردود الفعل. علاوة على ذلك ، من الناحية المثالية ، يجب أن تكون هناك إمكانية للتعليق والتقييم على مبدأ النجوم من 1 إلى 5 ، والتواصل المباشر مع الشخص المسؤول عن الكيان أو السمة لكيان معين ، بالإضافة إلى وضع العلامات والعلامات للفت الانتباه ، بالإضافة إلى إضافة كائنات إلى المفضلة.

بالإضافة إلى ذلك ، من الجيد سيحتوي على موصل أصلي لـ SAS DQ أو أي أداة أخرى يمكن استخدامها لتقييم جودة البيانات وعرض الفهرس الصحي لكيان معين ، بحيث يمكن للمستخدم أن يرى على الفور أنه يمكن الوثوق بالبيانات ، لأنه تم تشغيلها من خلال التحقق. وإعطاء ملاحظاتك حول هذا.

بشكل عام ، تحتاج إلى شيء مثل هذا:

في ما يلي مثال لحالة نموذجية لك: رأى شخص ما أنه يمكنك الوثوق بالبيانات ، وبحث عن كثب ووجد خطأ ، وكتب مباشرة إلى المالك يطلب منه إصلاحها. اتضح مثل عرض صحة البيانات. وهذا الانفتاح والتوافر الواسع للبيانات يقلل تدريجياً من درجة عدم الثقة بين المستخدمين والمالكين. يمكن للمحلل حتى مع أبسط الوصول إلى البيانات الحصول بسرعة على المعلومات الضرورية التي تم التحقق منها ، وفي الوقت نفسه ، لا يعتمد على مالك البيانات الذي يساهم بهذه المعلومات. الفوز.

ولكن عادةً ما يكون لدى كل شخص كل شيء في Excel ، وهذه مشكلة كبيرة (وليس Excel نفسه ، بالطبع ، ولكن مثل هذا الموقف). قام الناس بحساب المؤشرات ، ثم قاموا بتصحيحها في أجهزتهم اللوحية الخاصة بهم ، ولكن لم يتغير شيء في النظام العام. ويخشى المحلل من أخذ بعض الأرقام من مصادر الشركات المتاحة للجمهور ، فمن الأسهل الذهاب إلى زميل وطلب ملف. هذا أمر صعب التعامل معه. في الواقع ، يمكن اعتبار معيار نجاح تنفيذ مكتب البيانات إنشاء بيئات يعتمد فيها الموظفون ، كقاعدة ، على نتائج التحليل عند اتخاذ القرارات ، ويفضلون SQL و Python من الأدوات.

بشكل منفصل ، تجدر الإشارة إلى الحفاظ على الأوضاع الحالية لبيانات "سر تجاري" ، "بيانات عامة" ، "بيانات شخصية" ، "بيانات الشركات ذات التوزيع المحدود". وهذا يعني ، بالنسبة لمحلل البيانات ، أنه من المهم معرفة ما يتصفحه حاليًا ويفكّله بالضبط ، أو يسمح لزملائه بالاطلاع عليه.

بعد كل شيء ، عندما يلجأ الشخص العادي إلى التشريعات المتعلقة بالأسرار التجارية والمعلومات السرية ، فإنه يرى معلومات عامة حول ما يمكن أن يضر الشركات. في حالات متكررة ، يبدأون في اعتبار البيانات الهامة بشكل عام كل شيء يحتوي على أرقام (شيء مفاجئ). وبناءً على ذلك ، عندما يُطلب من المالك تقديم بيانات للتحليل ، يبدأ المالك في التساؤل: "هل هذا سر تجاري؟" ، "هل ستطلب أفعال مقدم الطلب الضرر؟" ، وعندما يتم إعادة التأمين ، غالبًا ما يرفض. بعد كل شيء ، فهو مسؤول عن هذه المعلومات ، ولا يعرف كيف سيستخدمها المحلل.

كانت هناك حالة أخرى: عندما كنا نعمل على قائمة من المعلومات السرية لمشروع دمقرطة البيانات ، اتضح أن هذه القائمة تحتوي على بيانات يصفها المالكون بسرية ، ونحن مطالبون بموجب القانون بتقديمها على الموقع الرسمي. وبالطبع ، يتم نشرها هناك. أي أنه في الحالات التي لا توجد فيها أداة واحدة يمكن للجميع من خلالها الاطلاع على معلومات تم التحقق منها بوضوح في وقت واحد ، يعمل الكثير من الأشخاص في وضع "بغض النظر عما يحدث" ويتم إعادة التأمين عليهم بشدة.

لذا ، هذا كل شيء عن المعايير. ولكن مما اخترناه بالضبط.

ابحث عن حل

نقول "اختيار" لأننا لم نختار بعد ، ما زلنا نبحث عن الأداة المثالية. في البداية ، اخترنا من Collibra و SAS DG و Alation و Alteryx Connect و Informatica. بحثنا أيضًا في مشاريع أجنبية مفتوحة المصدر ، لكنهم اجتاحوها على الفور تقريبًا ، لأنه لا أحد يعرف كيف يعمل مع الأبجدية السيريلية.

ثم كانت هناك تجربة فاشلة مع Collibra. كادنا نكمل الصفقة ، لكنها فشلت - لم نتفق على الشروط. على المدى القصير ، سينتقلون تمامًا إلى السحابة ، وبالنسبة لأي شركة روسية ، هذا ليس خيارًا. في الواقع ، لن يقدموا منتجًا ، ولكن خدمة: تقدم Collibra اشتراكًا ، ونحن نقدم بياناتنا. من الناحية الرسمية ، هذا ليس سرًا تجاريًا ، ولكنه بيانات وصفية ، ولكن في الواقع ، إذا حدث خطأ ما ، فسيكون العمل مشلولًا تمامًا.

بعد هذه القصة ، أدركنا أننا سنختار الصندوق لفترة طويلة: لدينا عمليات طويلة ، ونقترب بعناية من المعاملات والظروف والمقاولين ، ونتحقق من كل شيء عدة مرات للتأكد من أن الخطر ضئيل. بمعرفة كل هذه الميزات ، ذهبنا إلى تطويرنا الخاص لتقديم حل مؤقت على الأقل للمستخدمين. بعد كل شيء ، البيانات تتدفق ، ومن المستحيل استخدامها بدون وصف! في موازاة ذلك ، نلقي نظرة فاحصة على Alation و Alteryx Connect ونقارن بين وظيفتها وتكلفتها مع حلنا.

اخترعنا النموذج المنطقي للتخزين بأنفسنا ، فهو أكثر تعقيدًا بالنسبة لنا هنا من الصناعات الأخرى. على سبيل المثال ، بالنسبة للبنوك والاتصالات ، هناك بنى بيانات مرجعية - هياكل وتوصيات مقبولة بشكل عام حول كيفية وكيفية تحليل البيانات. بالنسبة للبتروكيماويات ، لا توجد دورة كاملة لمصادر الاقتراض الإبداعي في الملك العام. استغرق الأمر عامًا واحدًا فقط لفهم كيفية عمل الشركة ككل. لدى SIBUR إنتاجًا معقدًا ، وعددًا كبيرًا من التسميات والعمليات والشركات ، وهو ما ينعكس في الأنظمة ، مما يعني أنه يتطلب التحليل.

هنا ساعدنا أن هناك ما يسمى القيادة كثيفة المعرفة. على سبيل المثال ، في الصناعات الأخرى في كثير من الأحيان ، المدراء والمديرون ليسوا على دراية جيدة في الصناعة نفسها. يحدث هذا ، من حيث المبدأ ، هذا ليس شيئًا فظيعًا بشكل مباشر ، في النهاية ، يتمثل عملهم في إدارة المشاريع ، وتبين أن رابط كل مدير جديد يعرف عادة أقل قليلاً من الرابط السابق. ولكن اتضح أن المديرين هم أناس قادرون على شرح لك على الأصابع جميع العمليات التي يمكن أن تحدث مع البوتادين طوال مسار حياته ، على سبيل المثال.

لذا ، حول القرار. البحث الإبداعي هو شيء يمكن أن يستغرق عامًا أو عامين أو بضعة حياة. لذلك ، البحث جيد ، لكنك بحاجة إلى العمل على شيء ما الآن.

لذا ، ذهبنا إلى تطويرنا الخاص ، أطلقنا عليه اسم dg_light. استغرق تطوير الجبهة 4 أسابيع (لقول الحقيقة ، وليس من الصفر ، أعدنا استخدام إنجازات أداة تحليل المشاركة بالوقت التي خرجت مؤخرًا عن خط التجميع).

تكوين المشروع:

الخلفية: Docker ، Node.js ، NGINX ، Crossbar.io
الواجهة الأمامية: React و Redux و UI Material و Highcharts و Autobahn.js
تخزين البيانات: PostgreSQL
البروتوكولات: WAMP ، WebSocket ، HTTP (S)
نظام التشغيل: CentOS 7

كان هيكل مرافق التخزين والمنهجية مدخلات من مهندسي البيانات. لدراسة التصميم الأمامي ، قاموا بزرع عدد من المحللين من مستويات النضج المختلفة وسألوا: "كيف تريد أن يكون؟" في الواقع ، رسموا لأنفسهم.

استغرق كل تطوير 6 أسابيع.

سؤال معقول ، ماذا سنفعل بالقرار عندما نشتري الصناعية؟ كان من المخطط في الأصل أن كلا الحلين سيعيشان بالتوازي: في DG "الكبير" سيكون هناك نماذج بيانات ، ومسرد ، ونموذج يحتذى به ، و dg_light سيترك رقائق معقدة ليس من السهل تنفيذها في حل محاصر مثل نسب البيانات. ما سيحدث في المستقبل سيظهر تجربة الاستخدام.

نموذج البيانات

الفيزياء . بدأ كل شيء ببناء نموذج بيانات المستودع. جادلنا لفترة طويلة حول كيفية بناء طبقة تخزين تفصيلية ، وقررنا أننا لن نأخذ مفهومًا واحدًا جاهزًا للعمل ، ولكننا نجمع Data Vault 2.0 و Anchor (6NF). مرة أخرى ، لأن مصادر البيانات لدينا مختلفة للغاية. من ناحية ، هذا هو SAP ، والذي يوجد في الأعماق OLAP في مكان ما ، وفي OLTP في مكان ما ، ومنطق الأعمال الذي يعيش وفقًا لقوانينه الخاصة ويتطلب أقصى قدر من التفاصيل. من ناحية أخرى ، فإنهم يعيشون حياة مليئة بالأحداث لنظام التحكم في عملية التصنيع (MES) ، حيث يتدفق تدفق البيانات وتاريخ القيمة الرئيسية طوال الوقت.

يسمح الجمع بين المحاور والأقمار الصناعية والروابط من DV2.0 والحد الأقصى من دقة Ankor بالزواج من كل هذا في مكان واحد. نعم ، سيكون من الصعب كتابة الاستعلامات يدويًا في مثل هذا النظام ، ولكن جميع محتوياته صحيحة. ويمكننا ضمان سلامة النظام ، حتى إذا بدأ كل شيء حولنا فجأة في التغيير أو الانهيار.

المنطق. بعد حل مشكلة تنظيم الهندسة المعمارية على المستوى المادي ، انتقلنا إلى وصفها المنطقي. وانتقلت مناقشتنا مع الزملاء إلى المستوى الفلسفي في محاولة لنحدد لأنفسنا الجوهر وكيف يرتبطون ببعضهم البعض. بعد الجدل لبعض الوقت ، لجأوا إلى DAMA-DMBOK ، وسحبوا التعريفات منه وطبقوه في سياقهم. ونتيجة لذلك ، اتضح أن الكيانات هي أسماء نعمل معها في إطار SIBUR ، ولها قيمة تجارية كاملة والإجابة على عدد من الأسئلة. لا يزال هناك جدل حول ما إذا كان سيتم تضمين المجاميع والتقارير في الكيانات أم لا. لكل مهندس معماري رأيه ، وحساباته الخاصة ، ونحن نحاول الآن نقل أفكارنا إلى قاسم مشترك. هذه إحدى المهام التي يتعين علينا حلها ، بما في ذلك الأشخاص الذين نبحث عنهم كفريق.

لكن النموذج المنطقي ليس كل شيء. بالإضافة إلى ذلك ، قمنا على أساسه ببناء النموذج المفاهيمي الذي تحتاجه الإدارة لفهم ما يحدث على الإطلاق. النموذج المنطقي بالنسبة لهم مفصل للغاية ، لذلك قمنا بتجميع كل شيء في مجالات البيانات التي تتناسب جيدًا مع عمليات الأعمال الموصوفة في الشركة. نحاول الآن التفاوض مع مكتب العمليات من أجل ربط كل مجموعة من هذه الكيانات المنطقية بالعمليات في ARIS.

علاوة على ذلك ، ذهبنا في اتساع وحتى أعلى: لقد أنشأنا نموذج بيانات منطقية واحدة ، حيث ندخل الكيانات المنطقية لكل نظام ، مع الإشارة إلى أنظمة المصدر مع الإشارة إلى علاقة الأنظمة ببعضها البعض.

نقوم بتصدير هذه المعرفة إلى المهندسين المعماريين المؤسسين في Sparx Enterprise Architect ، وهم بحاجة إليها لربط الكيانات بتدفقات التكامل والواجهات.
سيساعد مثل هذا التنظيم لهيكل البيانات الأشخاص الذين يخططون للانخراط في تحليل الأثر في المستقبل ، من خلاله سيكون من الممكن بناء نسب بيانات كاملة. بشكل عام ، نتوقع أن يتم استخدام الحل ليس فقط من قبل المهندسين المعماريين من جميع الخطوط ، ولكن الأشخاص من التحليلات في وحدات الأعمال وعلماء البيانات وكل من يرتبط بطريقة أو بأخرى بالتحليل.

نواجه الآن مهمة شاقة - كيفية تعليم الموظفين كيفية استخدام كل هذا.

الناس والبيانات

خططنا العالمية هي جعل SIBUR شركة تعتمد على البيانات ، عندما يستطيع أي موظف على الإطلاق تحليل شيء ما. قسمنا الإستراتيجية العامة إلى ثلاثة أجزاء - عن الناس ، وعن العمليات وعن الأدوات. باستخدام الأدوات ، قد يقول المرء ، قرروا المشكلة ، وصنعوا نظامهم الأساسي بالبيانات. الآن نحن بحاجة إلى الناس لبدء استخدامه.

السمة الرئيسية هي عقلية الموظفين. إنهم يعملون في صناعة بتروكيماوية خطيرة ، حيث يتم كتابة السلامة لكل من يكتب دمه. ويتم تدريب الأشخاص على اتباع التعليمات بدقة ، وهو مطبوع حرفياً على القشرة الفرعية. إن مثل هذه الحالة تتعارض بشدة مع التفكير الحر للمحلل.

بدأنا صغيرًا: فطم الموظفين تدريجيًا لتقديم عروض تقديمية في أي مناسبة أكثر أو أقل أهمية ونقلهم إلى لوحات المعلومات. نظرًا لأن الأشخاص في الشركة مسؤولون وتنفيذيون ، فإنهم يحاولون أخذ عرض تقديمي جاهز ورسم كل شيء في نسخة تفاعلية. لكن لوحات المعلومات تعيش وفقًا لقوانين مختلفة ، وبالنسبة لشخص هذا مستوى مختلف تمامًا من تكاليف العمالة ، فمن الضروري تحميل سجل البيانات بالكامل والتحقق منه. يتم احتساب البيانات تلقائيًا وعدم معالجتها - لن تقوم بتغييرها بيديك ما لم تقم بإعدادها بشكل صحيح في البداية.

في الواقع ، تنتهي جميع أتمتة العمليات الداخلية بمجموعة من رسائل Excel + mail. إن عملية زرع الأشخاص باستخدام Excel هي مهمة شبه مستحيلة. حسنًا ، لماذا نحتاج إلى Python و SQL ، لأنه في Excel يمكنك القيام بكل شيء! ومن الصعب التعامل معها.

في الإصدارات السابقة من نظام إدارة البيانات في SIBUR كان هناك شيء مثل مالك أرشيف المعلومات - موظف يتيح الوصول إلى البيانات ويعرف أين الرقم الصحيح. خلق هذا النهج الحواجز التي كتبت عنها أعلاه. لكسرها ، استفدنا من "أفضل الممارسات" من Gartner وحددنا بشكل منفصل أمين البيانات وضابط جودة البيانات.

منسق البيانات هو مدير على مستوى مدير القسم يحدد القواعد التي من خلالها يكون جاهزًا لمنح الوصول إلى البيانات. يعمل مسؤول جودة البيانات مباشرة مع المعلومات نفسها ويعرف الرقم الصحيح. نحن نعمل الآن للتأكد من وجود شخص مسؤول عن الجودة لكل شخصية يستجيب لطلبات الزملاء في حالة الخطأ أو عدم الدقة. نقوم بالفعل بتقسيم البيانات إلى المعلومات المتاحة للجميع داخل الشركة ، والمعلومات المتاحة داخل وحدة معينة ، والمعلومات التي تمثل الأسرار التجارية.

وإذا أراد أي مدير إغلاق بيانات محددة ، فإننا نجري مفاوضات مكوكية ونشرح كيف سيؤثر إغلاق المعلومات على الوحدات الأخرى التي تعمل معها بشكل مباشر أو غير مباشر. وبالتالي ، تم تعديل نسبة البيانات المفتوحة داخل الشركة بشكل جذري. بمعايير SIBUR ، هذه ثورة حقيقية.

استنتاج

لدينا أداة جاهزة ، ولكن حتى الآن هناك عدد قليل جدًا من الأشخاص الذين يمكنهم استخدامها. ونحن نعلمهم. تسارعت العملية بشكل ملحوظ بعد أن بنينا عملية تدريب المعجبين ، عندما يتحمل كل موظف قمنا بتدريبه مسؤولية تدريب ما يلي. لقد سلكنا مسار تدريب موظفينا بدلاً من توظيف المحللين ، لأنه في حالتنا ، من السهل تعليم آلهة الماكرو SQL و Python من المحللين الرائعين لشرح الانحلال الحراري وميزاته. وانظروا إلى وجوههم في نفس الوقت.

كيف نجذب الناس ونتحمس للدراسة هي قصة تستحق وظيفة منفصلة.

بالإضافة إلى تثقيف المحللين الداخليين ، نحن نبحث أيضًا عن المهندسين المعماريين ، والأشخاص ذوي المعرفة بإدارة البيانات. هذا اتجاه جديد ليس فقط لروسيا ، ولكن أيضًا للعالم ككل ، ويستمر الناس في تفسير مفهوم بنية البيانات على أي مدى. هناك قصص مفهومة مع تحليلات الأعمال ، تحليلات النظم ، هندسة الشركات.

نحن في SIBUR نحدد بنية البيانات كنظام في تقاطع قطع النظام مع قواعد البيانات والعمليات المتعلقة بالأعمال. يجب على الشخص أن يفهم كيف يتم ترتيب المنظمة التي يعمل فيها ، وكيف تترك العمليات بيانات عن أنفسهم في أنظمة مختلفة. وكيفية ربط الأول بالثاني.