🏇 👩🏼‍✈️ 👩🏽‍⚖️ दोषपूर्ण *** s सिर्फ यादृच्छिककरण नहीं है 🔣 👩‍⚖️ 🤛🏾

बैंक में एक समस्या है: डेवलपर्स और परीक्षकों को डेटाबेस तक पहुंच प्रदान करने की आवश्यकता है। बहुत से क्लाइंट डेटा हैं, जिनका उपयोग सेंट्रल बैंक के PCI DSS आवश्यकताओं और व्यक्तिगत डेटा कानूनों के अनुसार विकास और परीक्षण विभागों के प्रकटीकरण के लिए नहीं किया जा सकता है।

ऐसा लगता है कि बस कुछ असममित हैश को बदलने के लिए पर्याप्त है और सब कुछ ठीक हो जाएगा।

तो, यह नहीं होगा।

तथ्य यह है कि बैंक का डेटाबेस परस्पर तालिकाओं का एक समूह है। कहीं वे नाम और ग्राहक खाता संख्या से जुड़े हैं। कहीं इसके अनूठे पहचानकर्ता द्वारा। कहीं (यहां दर्द शुरू होता है) एक संग्रहीत प्रक्रिया के माध्यम से जो इस और पड़ोसी तालिका के आधार पर पास-थ्रू पहचानकर्ता की गणना करता है। आदि।

सामान्य स्थिति यह है कि सिस्टम के पहले संस्करण के डेवलपर दस साल पहले ही मर चुके हैं या छोड़ दिए गए हैं, और नए हाइपरवाइजर (संगतता सुनिश्चित करने के लिए) के अंदर पुराने हाइपरवाइज़र में चलने वाले कर्नेल सिस्टम अभी भी ठेस में हैं।

यही है, यह सब करने से पहले, आपको सबसे पहले डेटाबेस को समझना होगा।

प्रतिरूपण कौन करता है और क्यों?

वे प्रतिनियुक्ति या मास्किंग में संलग्न हैं क्योंकि कानून और मानक हैं। हां, "स्नैपशॉट बेचना" के लिए परीक्षण करना बहुत बेहतर है, लेकिन नियामक ऐसी उड़ान के लिए लाइसेंस रद्द कर सकते हैं। यही है, इस तरह के रूप में व्यापार को कवर करने के लिए।

उत्पादक प्रणाली और विकास परीक्षण के बीच कोई भी प्रतिरूपण एक महंगी और अनाड़ी परत है।

एनोमाइजेशन (मास्किंग) परियोजनाओं का लक्ष्य लगभग हमेशा परीक्षण डेटा तैयार करना है जो उत्पादक डेटाबेस में संग्रहीत वास्तविक लोगों के समान है। यही है, यदि डेटा में त्रुटियां हैं - एक ईमेल के बजाय, फोन को भरा हुआ है, उपनाम लैटिन में सिरिलिक वर्णमाला के बजाय, आदि, तो प्रच्छन्न डेटा एक ही गुणवत्ता का होना चाहिए, लेकिन मान्यता से परे बदल गया। दूसरा लक्ष्य उन डेटाबेस की मात्रा को कम करना है जो परीक्षण और विकास में उपयोग किए जाते हैं। पूर्ण मात्रा केवल लोड परीक्षण के लिए छोड़ दी जाती है, और बाकी कार्यों के लिए, एक निश्चित डेटा स्लाइस आमतौर पर पूर्वनिर्धारित नियमों के अनुसार किया जाता है - डेटाबेस ट्रंकेशन। तीसरा लक्ष्य अलग-अलग प्रच्छन्न और काटे गए डेटाबेस में संबंधित डेटा प्राप्त करना है। इसका मतलब यह है कि अलग-अलग समय पर अलग-अलग प्रणालियों में डेटा, समान रूप से बेनामी होना चाहिए।

कम्प्यूटेशनल जटिलता के संदर्भ में, depersonalization लगभग कुछ डेटाबेस अभिलेखागार के रूप में उसी के बारे में है जो अत्यधिक संपीड़न के साथ है। एल्गोरिथ्म लगभग समान है। अंतर यह है कि अभिलेखीय एल्गोरिदम को वर्षों से सम्मानित किया गया है और लगभग अधिकतम दक्षता तक पहुंच गया है। और depersonalization एल्गोरिदम लिखा जाता है ताकि वे कम से कम वर्तमान आधार पर काम करें और काफी सार्वभौमिक हों। और प्रतिरूपण के बाद का सॉफ़्टवेयर आम तौर पर काम करता है। यह एक उत्कृष्ट परिणाम है - प्रति रात 40 टीबी पीसने के लिए। ऐसा होता है कि ग्राहक को एक कमजोर सर्वर पर एक सप्ताह के लिए हर छह महीने में एक बार डेटाबेस को प्रतिरूपण में ड्राइव करना सस्ता होता है - यह भी एक दृष्टिकोण है।

डेटा को कैसे बदला जाता है?

प्रत्येक डेटा प्रकार उन नियमों के अनुसार बदलता है जिनका उपयोग कोड में किया जा सकता है। उदाहरण के लिए, यदि हम नाम को विशेष वर्णों और संख्याओं के साथ यादृच्छिक हैश के साथ प्रतिस्थापित करते हैं, तो बहुत पहले डेटा सत्यापन वास्तविक परीक्षण में त्रुटि पैदा करेगा।

इसलिए, पहले प्रतिरूपण प्रणाली को यह निर्धारित करना चाहिए कि किस प्रकार का डेटा फ़ील्ड में संग्रहीत है। विक्रेता के आधार पर, अलग-अलग दृष्टिकोणों का उपयोग किया जाता है, मैनुअल मार्कअप से डेटाबेस को खोजने के प्रयास और ऑटो-पता लगाने के लिए कि वहां क्या संग्रहीत है। हमारे पास बाजार में सभी प्रमुख समाधानों को पेश करने की प्रथा है। हम उन विकल्पों में से एक का विश्लेषण करते हैं जब एक विज़ार्ड होता है जो डेटा खोजने की कोशिश करता है और "अनुमान" लगाता है कि किस तरह का डेटा वहाँ संग्रहीत है।

स्वाभाविक रूप से, इस सॉफ़्टवेयर के साथ काम करने के लिए आपको वास्तविक डेटा तक पहुंच की आवश्यकता होती है (आमतौर पर यह डेटाबेस के हाल के बैकअप की एक प्रति है)। बैंकिंग के अनुभव के अनुसार, हम पहले दो महीने के लिए एक टन कागजात पर हस्ताक्षर करते हैं, और फिर हम बैंक में आते हैं, हम अनछुए होते हैं, खोजे जाते हैं और कपड़े पहने होते हैं, फिर हम एक अलग कमरे में जाते हैं, एक फैराडे पिंजरे के साथ रखा जाता है, जिसमें दो सुरक्षा गार्ड होते हैं और हमारे सिर के पीछे गर्मजोशी से सांस लेते हैं।

तो, मान लीजिए कि इस सब के बाद, हमें एक तालिका दिखाई देती है जिसमें एक फ़ील्ड है "नाम"। विज़ार्ड ने पहले से ही हमारे लिए इसे एक नाम के रूप में चिह्नित किया है, और हम केवल पुष्टि कर सकते हैं और प्रतिरूपण के प्रकार को चुन सकते हैं। विज़ार्ड स्लाव नामों के लिए एक यादृच्छिक प्रतिस्थापन प्रदान करता है (विभिन्न क्षेत्रों के लिए आधार हैं)। हम इवान इवानोव पेट्रेंको - जोसेफ अल्बर्टोविच चिंगचगुक जैसे प्रतिस्थापनों को स्वीकार करते हैं और प्राप्त करते हैं। यदि यह महत्वपूर्ण है, तो लिंग को संरक्षित किया जाता है, यदि नहीं, तो प्रतिस्थापन नामों के डेटाबेस में जाते हैं।

प्रतिस्थापन के उदाहरण:

. ->
->
->
->
-> -

अगला क्षेत्र Unixtime में तारीख है। विज़ार्ड ने इसे भी निर्धारित किया है, लेकिन हमें प्रतिरूपणीकरण फ़ंक्शन को चुनने की आवश्यकता है। आमतौर पर, घटनाओं के अनुक्रम को नियंत्रित करने के लिए तिथियों का उपयोग किया जाता है, और स्थिति जब एक ग्राहक ने पहले एक बैंक में स्थानांतरण किया और फिर एक खाता खोला, किसी को वास्तव में परीक्षण करने की आवश्यकता नहीं है। इसलिए, हम 30 दिनों के भीतर, डिफ़ॉल्ट रूप से एक छोटा डेल्टा सेट करते हैं। अभी भी त्रुटियां होंगी, लेकिन यदि यह महत्वपूर्ण है, तो आप अपनी स्क्रिप्ट को एनोनिमा प्रसंस्करण में जोड़कर अधिक जटिल नियमों को कॉन्फ़िगर कर सकते हैं।

पते को मान्य किया जाना चाहिए, इसलिए रूसी पते के डेटाबेस का उपयोग किया जाता है। कार्ड नंबर वास्तविक संख्या के अनुरूप होना चाहिए और उनके द्वारा मान्य होना चाहिए। कभी-कभी यह कार्य "सभी वीज़ा रैंडम मास्टरकार्ड बनाने के लिए" होता है - यह भी कुछ ही क्लिक में संभव है।
जादूगर के हुड के तहत प्रोफाइलिंग है। प्रोफाइलिंग पूर्वनिर्धारित नियमों (विशेषताओं, डोमेन) के अनुसार डेटाबेस में डेटा की खोज है। वास्तव में, हम ग्राहक के डेटाबेस के प्रत्येक सेल को पढ़ते हैं, प्रत्येक सेल में नियमित अभिव्यक्तियों का एक सेट लागू करते हैं, इस सेल में शब्दकोशों के साथ मूल्यों की तुलना करते हैं, परिणामस्वरूप, हमारे पास डेटाबेस तालिकाओं के स्तंभों पर ट्रिगर नियमों का एक सेट है। हम प्रोफाइलिंग को कॉन्फ़िगर कर सकते हैं, हम डेटाबेस में सभी तालिकाओं को नहीं पढ़ सकते हैं, हम केवल तालिका से कुछ निश्चित पंक्तियों या कुछ निश्चित पंक्तियों को ले सकते हैं।

अंदर क्या चल रहा है?

डेटाबेस में प्रत्येक प्रविष्टि के लिए, हमने जो प्रतिरूपण नियम चुने हैं, वे लागू होते हैं। इस मामले में, प्रक्रिया की अवधि के लिए अस्थायी टेबल बनाए जाते हैं, जहां प्रतिस्थापन लिखे जाते हैं। डेटाबेस में प्रत्येक बाद के रिकॉर्ड को इन रिप्लेसमेंट पत्राचार तालिकाओं के अनुसार चलाया जाता है, और यदि कोई पत्राचार होता है, तो इसे पहले की तरह बदल दिया जाता है। आपकी स्क्रिप्ट और पैटर्न मिलान नियमों के आधार पर सब कुछ वास्तव में थोड़ा अधिक जटिल है (उदाहरण के लिए, बच्चे के जन्म के लिए या एक अलग प्रारूप में संग्रहीत तिथियों को बदलने के लिए एक गलत प्रतिस्थापन हो सकता है), लेकिन सामान्य विचार यह है।

अगर वहाँ चिह्नित पत्र "नाम है सिरिलिक - नाम लैटिन है", तो उन्हें स्पष्ट रूप से विकास के चरण में संकेत दिया जाना चाहिए, और फिर प्रतिस्थापन तालिका में वे एक दूसरे के अनुरूप होंगे। यही है, नाम को सिरिलिक में अज्ञात किया जाएगा, और फिर इस अनाम प्रविष्टि को लैटिन वर्णमाला में बदल दिया जाएगा, उदाहरण के लिए। इस बिंदु पर, हम "सिस्टम में डेटा की गुणवत्ता में सुधार नहीं करते हैं" दृष्टिकोण से दूर जा रहे हैं, लेकिन यह उन कुछ समझौतों में से एक है जो आपको किसी प्रकार के सिस्टम प्रदर्शन के लिए करना है। अभ्यास से पता चलता है कि यदि तनावपूर्ण, कार्यात्मक परीक्षण अपने काम में कोई समझौता नहीं करता है, तो कुछ भी नहीं था। और यहाँ महत्वपूर्ण बिंदु यह है कि एक पूरे के रूप में प्रतिरूपण करना एन्क्रिप्शन नहीं है। यदि आपके पास तालिका में कुछ गज की प्रविष्टियाँ हैं, और उनमें से दस में टीआईएन नहीं बदला है, तो क्या? कुछ नहीं, ये दस रिकॉर्ड नहीं मिल सकते।

प्रक्रिया की समाप्ति के बाद, रूपांतरण तालिकाएँ प्रतिनियुक्ति सर्वर के संरक्षित डेटाबेस में रहती हैं। आधार काट दिया जाता है (काट दिया जाता है) और रूपांतरण तालिका के बिना परीक्षण के लिए पारित किया जाता है, इस प्रकार, परीक्षक के लिए, प्रतिरूपण अपरिवर्तनीय हो जाता है।

पूर्ण अनाम डेटाबेस तनाव परीक्षण के लिए परीक्षकों को दिया जाता है।

इसका मतलब यह है कि डेटाबेस के साथ काम करते समय, रूपांतरण तालिका "सूज" (सटीक राशि प्रतिस्थापन और उनके प्रकार की पसंद पर निर्भर करती है), लेकिन काम का आधार मूल आकार रहता है।

ऑपरेटर इंटरफ़ेस में प्रक्रिया क्या दिखती है?

एक उदाहरण के रूप में विक्रेताओं में से एक का उपयोग करते हुए आईडीई का सामान्य दृश्य:

डीबगर:

आईडीई से एक परिवर्तन शुरू करना:

प्रोफाइलर में संवेदनशील डेटा की खोज के लिए एक अभिव्यक्ति को कॉन्फ़िगर करना: प्रोफाइलर के

लिए नियमों के एक सेट के साथ पेज: प्रोफाइलर

का परिणाम, डेटा खोज के साथ वेब पेज:

डेटाबेस में सभी डेटा नकाबपोश है?

नहीं। आमतौर पर, प्रतिनियुक्ति के लिए डेटा की सूची को क्षेत्र के कानूनों और मानकों द्वारा विनियमित किया जाता है, साथ ही ग्राहक के पास विशिष्ट क्षेत्रों के लिए सुझाव हैं जिनके बारे में किसी को भी पता नहीं होना चाहिए।

तर्क यह है कि यदि हम अस्पताल में रोगी के नाम का मुखौटा लगाते हैं, तो आप निदान कर सकते हैं या मास्क नहीं कर सकते हैं - फिर भी किसी को पता नहीं चलेगा कि वह कौन है। हमारे पास एक मामला था जब एक बैंक में लेनदेन पर नोट्स केवल यादृच्छिक अक्षरों में अंकित किए गए थे। स्तर के नोट थे: "ऋण से इनकार कर दिया गया था, क्योंकि ग्राहक नशे में आया, उसने बार को उल्टी कर दी।" डिबगिंग दृष्टिकोण से, यह सिर्फ पात्रों का एक स्ट्रिंग है। अच्छा, उसे रहने दो।

उदाहरण रणनीति:

एक डायनामिक सीड टेबल एक ट्रांसकोडिंग टेबल होती है, जिसमें हम उस रीकोडिंग को जोड़ते हैं जो पहले ही हो चुकी है। हैश बहुत अलग हो सकता है और एक ही टिन के मामले में, अधिक बार एक नया यादृच्छिक टीआईएन पहले वर्णों के साथ संग्रहीत होता है, चेक अंकों के साथ।

क्या डीबीएमएस का उपयोग करके डेटा को बदलना संभव है?

हाँ। डेटा का प्रतिरूपण करते समय, दो मुख्य दृष्टिकोण हैं - डेटाबेस में स्वयं डेटा का उपयोग करके डेटा बदलना या ईटीएल प्रक्रिया का आयोजन करना और तीसरे पक्ष के सॉफ़्टवेयर का उपयोग करके डेटा बदलना।

पहले दृष्टिकोण का मुख्य प्लस यह है कि आपको डेटाबेस से कहीं भी डेटा लेने की आवश्यकता नहीं है, कोई नेटवर्क लागत नहीं है, और तेज़ और अनुकूलित डेटाबेस टूल का उपयोग किया जाता है। मुख्य प्रणाली प्रत्येक प्रणाली के लिए एक अलग विकास है, विभिन्न प्रणालियों के लिए सामान्य रूपांतरण तालिकाओं की कमी है। रूपांतरण सारणी की आवश्यकता है प्रतिरूपण के पुनरुत्पादन के लिए, सिस्टम के बीच आगे डेटा एकीकरण।

दूसरे दृष्टिकोण का मुख्य प्लस - इससे कोई फर्क नहीं पड़ता कि आपके पास कौन सा डेटाबेस, सिस्टम, फ़ाइल या वेब-इंटरफ़ेस है - एक बार जब आप एक नियम लागू करते हैं, तो आप इसे हर जगह उपयोग कर सकते हैं। प्रमुख ऋण यह है कि आपको डेटाबेस से डेटा पढ़ने की जरूरत है, इसे एक अलग आवेदन के साथ संसाधित करें, इसे डेटाबेस में वापस लिखें।

अभ्यास से पता चलता है कि यदि ग्राहक के पास कई प्रणालियों का एक सेट है जिसे आगे एकीकरण की आवश्यकता होती है, तो धन में अंतिम लागत के लिए केवल दूसरा दृष्टिकोण लागू किया जा सकता है, साथ ही स्वीकार्य विकास के समय के लिए भी।

यही है, हम अपनी इच्छानुसार कुछ भी कर सकते हैं, लेकिन ETL दृष्टिकोण ने बैंकिंग क्षेत्र में खुद को बहुत अच्छी तरह से साबित कर दिया है।

और डेटा केवल मैन्युअल रूप से खराब क्यों नहीं होता है?

यह एक बार किया जा सकता है। कोई व्यक्ति तीन दिनों के लिए बैठेगा, डेटा का एक गुच्छा प्रतिरूपण करेगा और 500-1000 रिकॉर्ड का एक डेटाबेस तैयार करेगा। कठिनाई यह है कि प्रक्रिया को नियमित रूप से दोहराया जाना चाहिए (डेटाबेस संरचना में प्रत्येक परिवर्तन और नए क्षेत्रों और तालिकाओं की उपस्थिति) और बड़े संस्करणों में (विभिन्न प्रकार के परीक्षण के लिए)। एक सामान्य अनुरोध डेटाबेस के पहले 10-50 जीबी का प्रतिरूपण करने का है ताकि यह राशि प्रत्येक तालिका पर समान रूप से पड़े।

यदि डेटाबेस में दस्तावेज़ स्कैन संग्रहीत हैं तो क्या करें?

यदि किसी दस्तावेज़ को एक्सएमएल में घटाया जा सकता है और वापस परिवर्तित किया जा सकता है (उदाहरण के लिए, कार्यालय दस्तावेज़), तो आप उनका प्रतिरूपण भी कर सकते हैं। लेकिन कभी-कभी पीडीएफ / जेपीजी / टीआईएफएफ / बीएमपी में पासपोर्ट स्कैन जैसे बायनेरिज़ होते हैं। इस मामले में, आम तौर पर स्वीकार किए जाते हैं अभ्यास तीसरे पक्ष की स्क्रिप्ट के साथ इसी तरह के दस्तावेजों की आपूर्ति करने और यादृच्छिक उत्पन्न लोगों के आधार से नमूनों के साथ वास्तविक की जगह लेना है। सबसे मुश्किल काम तस्वीरों के साथ है, लेकिन इस तरह की सेवाएं हैं जो लगभग उसी तरह से मुद्दे को हल करती हैं।

कौन किसके लिए जिम्मेदार है?

सॉफ्टवेयर बदलने या "पकड़ने" के बाद अपडेट करते समय, प्रक्रियाएं सरल होती हैं।

लेकिन अगर परीक्षण में कुछ गलत हो जाए तो क्या होगा?

ऐसा आमतौर पर होता है। पहला, परीक्षक, पहला प्रतिरूपण चलाने के बाद, डेटाबेस के लिए आवश्यकताओं को अधिक सटीक रूप से तैयार करते हैं। हम प्रतिनियुक्तिकरण के नियमों को बदल सकते हैं या रिकॉर्ड को अस्वीकार कर सकते हैं जैसे "यहां की क्रिया कालानुक्रमिक क्रम में जानी चाहिए, न कि अराजक स्थिति में"। दूसरे, कार्यान्वयन के आधार पर, हम या तो डेटाबेस परिवर्तन के रूप में प्रतिरूपण का समर्थन करते हैं, या हम सभी दस्तावेज़ छोड़ देते हैं, डेटाबेस संरचना और प्रसंस्करण प्रकारों का वर्णन करते हैं, पूरे प्रसंस्करण कोड (xml / sql में नियम) और ग्राहक से ट्रेन विशेषज्ञों को स्थानांतरित करते हैं।

डेमो कैसे देखें?

सबसे आसान तरीका है मुझे PSemenov@technoserv.com पर ईमेल करें।

दोषपूर्ण *** s सिर्फ यादृच्छिककरण नहीं है