🤙🏽 🍔 🍘 Sysbench और यादृच्छिक चर का वितरण 🚘 👩‍🏫 👧🏿

विशेष रूप से पाठ्यक्रम "डेटाबेस" के छात्रों के लिए लेख का अनुवाद तैयार किया गया था ।

क्या आप sysbench यादृच्छिक संख्या पीढ़ी के बारे में नहीं जानते होंगे

Sysbench एक लोकप्रिय प्रदर्शन परीक्षण उपकरण है। यह मूल रूप से 2000 के दशक की शुरुआत में पीटर जैतसेव द्वारा लिखा गया था और परीक्षण और बेंचमार्किंग के लिए वास्तविक मानक बन गया था। यह वर्तमान में अलेक्सई Kopytov द्वारा समर्थित है और Github पर पोस्ट किया जाता है पर ।

हालाँकि, मैंने देखा कि, इसके व्यापक वितरण के बावजूद, sysbench में कई अपरिचित क्षण हैं। उदाहरण के लिए, लुआ का उपयोग करके आसानी से MySQL परीक्षणों को संशोधित करने या अंतर्निहित यादृच्छिक संख्या जनरेटर के मापदंडों को कॉन्फ़िगर करने की क्षमता।

यह लेख किस बारे में है?

मैंने यह लेख यह दिखाने के लिए लिखा है कि अपनी आवश्यकताओं के लिए sysbench को अनुकूलित करना कितना आसान है। Sysbench की कार्यक्षमता का विस्तार करने के लिए कई तरीके हैं, और उनमें से एक यादृच्छिक पहचानकर्ताओं (आईडी) की पीढ़ी को कॉन्फ़िगर करना है।

डिफ़ॉल्ट रूप से, sysbench यादृच्छिक संख्या उत्पन्न करने के लिए पांच अलग-अलग विकल्पों के साथ आता है। लेकिन बहुत बार (वास्तव में, लगभग कभी नहीं), उनमें से कोई भी स्पष्ट रूप से संकेत नहीं दिया जाता है, और यहां तक कि कम बार आप पीढ़ी के मापदंडों को देख सकते हैं (विकल्पों के लिए जहां वे उपलब्ध हैं)।

यदि आपके पास एक सवाल है: “और मुझे इसमें दिलचस्पी क्यों लेनी चाहिए? आखिरकार, डिफ़ॉल्ट मान काफी उपयुक्त हैं, "तो यह पोस्ट आपको यह समझने में मदद करने के लिए डिज़ाइन की गई है कि हमेशा ऐसा क्यों नहीं होता है।

चलो शुरू करते हैं

Sysbench में यादृच्छिक संख्याएँ उत्पन्न करने के तरीके क्या हैं? वर्तमान में निम्नलिखित कार्यान्वित किए गए हैं (आप इन्हें आसानी से --help विकल्प के माध्यम से देख सकते हैं):

विशेष (विशेष वितरण)
गाऊसी (गाऊसी वितरण)
पारेतो (पारेतो वितरण)
ज़िपफ़ियन (ज़िपफ़ वितरण)
वर्दी (समान वितरण)

डिफ़ॉल्ट रूप से, विशेष का उपयोग निम्नलिखित मापदंडों के साथ किया जाता है:

rand-spec-iter = 12 - एक विशेष वितरण के लिए पुनरावृत्तियों की संख्या
rand-spec-pct = 1 - संपूर्ण श्रेणी का प्रतिशत जिसमें "विशेष" मान एक विशेष वितरण के साथ आते हैं
rand-spec-res = 75 - एक विशेष वितरण में उपयोग के लिए "विशेष" मूल्यों का प्रतिशत

चूंकि मुझे सरल और आसानी से पुन: प्रस्तुत करने वाले परीक्षण और स्क्रिप्ट पसंद हैं, इसलिए बाद के सभी डेटा निम्नलिखित sysbench कमांड का उपयोग करके एकत्र किए जाएंगे:

sysbench ./src/lua/oltp_read.lua -mysql_storage_engine = innodb –db-driver = mysql –tables = 10 –table_size = 100 तैयार
sysbench ./src/lua/oltp_read_write.lua –db-driver=mysql –tables=10 –table_size=100 –skip_trx=off –report-interval=1 –mysql-ignore-errors=all –mysql_storage_engine=innodb –auto_inc=on –histogram –stats_format=csv –db-ps-mode=disable –threads=10 –time=60 –rand-type=XXX run

अपने आप को प्रयोग करने के लिए स्वतंत्र महसूस करें। स्क्रिप्ट विवरण और डेटा यहां पाया जा सकता है ।

क्यों sysbench एक यादृच्छिक संख्या जनरेटर का उपयोग करता है? उद्देश्यों में से एक आईडी जनरेट करना है जिसका उपयोग प्रश्नों में किया जाएगा। तो, हमारे उदाहरण में, 1 और 100 के बीच की संख्या उत्पन्न होगी, प्रत्येक में 100 पंक्तियों के साथ 10 तालिकाओं के निर्माण को ध्यान में रखते हुए।

क्या होगा यदि आप ऊपर वर्णित के रूप में sysbench चलाते हैं और केवल -rand-type को बदलते हैं?

मैंने इस स्क्रिप्ट को चलाया और जेनरेट किए गए ID मानों की आवृत्ति को एकत्रित करने और उनका विश्लेषण करने के लिए सामान्य लॉग का उपयोग किया। यहाँ परिणाम है:

विशेष

वर्दी

Zipfian

परेटो

गाऊसी

यह देखा जा सकता है कि इस पैरामीटर मामलों, है ना? आखिरकार, सिबेंच ठीक वही करता है जो हम इससे उम्मीद करते थे।

आइए प्रत्येक वितरण पर एक करीब से नज़र डालें।

विशेष

विशेष रूप से डिफ़ॉल्ट रूप से उपयोग किया जाता है, इसलिए यदि आप रैंड-प्रकार निर्दिष्ट नहीं करते हैं, तो sysbench विशेष का उपयोग करेगा। विशेष आईडी मूल्यों की बहुत सीमित संख्या का उपयोग करता है। हमारे उदाहरण में, हम देख सकते हैं कि 50-51 का मान मुख्य रूप से उपयोग किया जाता है, शेष 44-56 के बीच के मान अत्यंत दुर्लभ हैं, जबकि अन्य व्यावहारिक रूप से उपयोग नहीं किए जाते हैं। कृपया ध्यान दें कि चयनित मान 1-100 की उपलब्ध रेंज के बीच में हैं।

इस मामले में, चोटी दो आईडी के बारे में है जो 2% नमूने का प्रतिनिधित्व करती है। यदि मैं रिकॉर्ड की संख्या को एक मिलियन तक बढ़ाता हूं, तो शिखर बना रहेगा, लेकिन यह 7493 पर होगा, जो नमूना का 0.74% है। चूंकि यह अधिक प्रतिबंधात्मक होगा, इसलिए पृष्ठों की संख्या एक से अधिक होने की संभावना है।

वर्दी (समान वितरण)

जैसा कि नाम कहता है, यदि हम यूनिफ़ॉर्म का उपयोग करते हैं, तो सभी मान आईडी के लिए उपयोग किए जाएंगे, और वितरण होगा ... वर्दी।

ज़िपफ़ियन (ज़िपफ़ वितरण)

जिप्फ़ वितरण, जिसे कभी-कभी ज़ेटा वितरण भी कहा जाता है, एक असतत वितरण है जिसे आमतौर पर भाषा विज्ञान, बीमा और दुर्लभ घटना मॉडलिंग में उपयोग किया जाता है। इस मामले में, sysbench छोटी (1) से शुरू होने वाली संख्याओं का उपयोग करेगा और बहुत तेज़ी से उपयोग की आवृत्ति को कम करेगा, बड़ी संख्याओं पर जा रहा है।

परेतो (परेतो)

पेरेटो "80-20" नियम लागू करता है । इस स्थिति में, उत्पन्न आईडी को और भी कम किया जाएगा और एक छोटे खंड में अधिक केंद्रित होगा। हमारे उदाहरण में, सभी आईडी के 52% का मूल्य 1 था, और 73% मान पहले 10 संख्या में थे।

गाऊसी (गाऊसी वितरण)

गाऊसी वितरण (सामान्य वितरण) अच्छी तरह से जाना जाता है और परिचित है । इसका उपयोग मुख्य रूप से एक केंद्रीय कारक के आसपास के आँकड़ों और पूर्वानुमानों में किया जाता है। इस स्थिति में, उपयोग की जाने वाली आईडी घंटी के आकार के वक्र के साथ वितरित की जाती है, औसत मूल्य से शुरू होती है, और धीरे-धीरे किनारों तक कम हो जाती है।

इसका क्या मतलब है?

उपरोक्त विकल्पों में से प्रत्येक का अपना उपयोग है और इसे उद्देश्य से समूहीकृत किया जा सकता है। पारेतो और हॉट स्पॉट पर विशेष ध्यान दें। इस स्थिति में, एप्लिकेशन एक ही पृष्ठ / डेटा का बार-बार उपयोग करता है। यह वही हो सकता है जिसकी हमें आवश्यकता है, लेकिन हमें यह समझना चाहिए कि हम क्या कर रहे हैं और यहां गलतियां नहीं कर रहे हैं।

उदाहरण के लिए, यदि हम पढ़ते समय InnoDB पृष्ठ संपीड़न के प्रदर्शन का परीक्षण करते हैं, तो हमें विशेष या पारेतो के डिफ़ॉल्ट मान का उपयोग करने से बचना चाहिए। यदि हमारे पास 1 टीबी डेटा सेट और 30 जीबी बफर पूल है, और हम एक ही पृष्ठ को कई बार अनुरोध करते हैं, तो यह पृष्ठ पहले से ही डिस्क से पढ़ा जाएगा और मेमोरी में असम्पीडित उपलब्ध होगा।

संक्षेप में, इस तरह की परीक्षा समय और प्रयास की बर्बादी है।

एक ही बात अगर हमें रिकॉर्डिंग के प्रदर्शन की जांच करने की आवश्यकता है। एक ही पेज को बार-बार लिखना सबसे अच्छा विकल्प नहीं है।

प्रदर्शन परीक्षण के बारे में कैसे?

फिर से, हम प्रदर्शन का परीक्षण करना चाहते हैं, लेकिन किस मामले के लिए? यह समझना महत्वपूर्ण है कि यादृच्छिक संख्याओं को उत्पन्न करने का तरीका परीक्षण के परिणामों को बहुत प्रभावित करता है। और आपके "अच्छे पर्याप्त दोष" गलत निष्कर्ष पर ले जा सकते हैं।

निम्न रेखांकन रैंड-प्रकार (परीक्षण प्रकार, समय, अतिरिक्त पैरामीटर और थ्रेड्स की संख्या हर जगह समान हैं) के आधार पर अलग-अलग विलंबता दिखाते हैं।

प्रकार से प्रकार में, देरी काफी भिन्न होती है:

यहां मैं पढ़ रहा था और लिख रहा था, और डेटा प्रदर्शन स्कीमा से लिया गया था (sys.schema_table_statistics) उम्मीद के मुताबिक, Pareto और Special दूसरों की तुलना में अधिक समय लेती हैं, जिससे सिस्टम (MySQL-InnoDB) कृत्रिम रूप से एक "हॉट स्पॉट" में प्रतिस्पर्धा से ग्रस्त हैं।

रैंड-प्रकार को बदलना न केवल देरी को प्रभावित करता है, बल्कि संसाधित किए गए पंक्तियों की संख्या, जैसा कि प्रदर्शन स्कीमा द्वारा इंगित किया गया है।

उपरोक्त सभी को देखते हुए, यह समझना महत्वपूर्ण है कि हम क्या मूल्यांकन और परीक्षण करने की कोशिश कर रहे हैं।

यदि मेरा लक्ष्य सभी स्तरों पर सिस्टम के प्रदर्शन का परीक्षण करना है, तो मैं यूनिफ़ॉर्म का उपयोग करना पसंद कर सकता हूं, जो समान रूप से डेटा सेट / डेटाबेस सर्वर / सिस्टम को लोड करेगा और समान रूप से रीड / लोड / राइट वितरित करने की संभावना रखेगा।

यदि मेरा काम गर्म स्थानों के साथ काम करना है, तो शायद परेतो और स्पेशल सही विकल्प हैं।

लेकिन डिफ़ॉल्ट मानों का आँख बंद करके उपयोग न करें। वे आपके अनुरूप हो सकते हैं, लेकिन अक्सर वे चरम मामलों के लिए अभिप्रेत होते हैं। मेरे अनुभव में, आप अक्सर अपनी आवश्यकता के परिणाम प्राप्त करने के लिए सेटिंग्स को समायोजित कर सकते हैं।

उदाहरण के लिए, आप अंतराल को चौड़ा करके बीच में मूल्यों का उपयोग करना चाहते हैं ताकि कोई तेज चोटी (विशेष रूप से डिफ़ॉल्ट) या घंटी (गाऊसी) न हो।

आप ऐसा कुछ प्राप्त करने के लिए विशेष को कॉन्फ़िगर कर सकते हैं:

इस मामले में, आईडी अभी भी पास हैं, और प्रतिस्पर्धा है। लेकिन एक "हॉट स्पॉट" का प्रभाव कम है, इसलिए संभावित संघर्ष अब कई आईडी के साथ होगा, जो एक पृष्ठ पर रिकॉर्ड की संख्या के आधार पर, कई पृष्ठों पर हो सकता है।

एक और उदाहरण विभाजन है। उदाहरण के लिए, पुराने डेटा को संग्रहीत करते हुए, नवीनतम डेटा पर ध्यान केंद्रित करते हुए, विभाजन के साथ आपकी प्रणाली कैसे काम करती है, इसकी जांच कैसे करें?

आसान! पारेतो वितरण चार्ट याद है? आप इसे अपनी जरूरत के अनुसार बदल सकते हैं।

-Rand-pareto मूल्य निर्दिष्ट करके, आप वही प्राप्त कर सकते हैं जो आप बड़ी ID मानों पर sysbench फ़ोकस करके चाहते थे।

जिपफियन भी स्थापित किया जा सकता है और, हालांकि आप एक उलटा नहीं प्राप्त कर सकते हैं, जैसा कि पारेतो के साथ होता है, आप आसानी से एक मान से अधिक समान वितरण पर स्विच कर सकते हैं। एक अच्छा उदाहरण निम्नलिखित है:

पिछली बात को ध्यान में रखें, और मुझे लगता है कि ये स्पष्ट बातें हैं, लेकिन यह कहने से बेहतर है कि यादृच्छिक संख्या पीढ़ी के मापदंडों को बदलते समय, प्रदर्शन बदल जाएगा।

विलंबता की तुलना करें:

यहां, मूल नीले रंग की तुलना में हरे रंग के बदले हुए मूल्य दिखाई देते हैं।

जाँच - परिणाम

इस बिंदु पर, आपको पहले से ही समझना चाहिए कि sysbench में यादृच्छिक संख्या पीढ़ी को स्थापित करना कितना आसान है, और यह आपके लिए कितना उपयोगी हो सकता है। ध्यान रखें कि उपरोक्त किसी भी कॉल पर लागू होता है, उदाहरण के लिए, उपयोग करते समय sysbench.rand.default:

local function get_id()
   return sysbench.rand.default(1, sysbench.opt.table_size)
End

इसे देखते हुए, अन्य लोगों के लेखों से कोड को माइंडलेस रूप से कॉपी न करें, लेकिन यह सोचें और इसे डिलीवर करें कि आपको क्या चाहिए और इसे कैसे प्राप्त करना है।

परीक्षण चलाने से पहले, यह सुनिश्चित करने के लिए यादृच्छिक संख्या पीढ़ी विकल्पों की जांच करें कि वे आपकी आवश्यकताओं के लिए उपयुक्त और उपयुक्त हैं। अपने जीवन को सरल बनाने के लिए, मैं इस सरल परीक्षण का उपयोग करता हूं । यह परीक्षण बहुत स्पष्ट आईडी वितरण जानकारी प्रदर्शित करता है।

मेरी सलाह है कि आपको अपनी आवश्यकताओं को समझना चाहिए और सही ढंग से परीक्षण / बेंचमार्किंग का संचालन करना चाहिए।