"एक विशिष्ट गलती - बिना किसी पंक्ति के सब कुछ मानने वाले बेंचमार्किंग": बेंचमार्किंग के बारे में एंड्री अकिंशिन के साथ एक साक्षात्कार

पिछले साल, आंद्रेई अकिंशिन (सपने में चलने वाला) पुस्तक "प्रो .NET बेंचमार्किंग" प्रकाशित की गई थी : बेंचमार्किंग पर एक विस्तृत कार्य, अन्य क्षेत्रों में .NET डेवलपर्स और आईटी विशेषज्ञों दोनों के लिए उपयोगी।

जब रिलीज़ होने से पहले कुछ महीने बने रहे, तो हमने डॉटनेक्स्ट 2019 पाइटर सम्मेलन आयोजित किया, जहाँ ऑनलाइन प्रसारण में हमने आंद्रेई से पुस्तक के बारे में और आम तौर पर बेंचमार्किंग के बारे में पूछा। ऐसा लगता है कि तब से यह साक्षात्कार पुराना हो जाना चाहिए: वहाँ वे भविष्य के तनाव में पुस्तक के बारे में बात करते हैं, और अब यह पहले से ही छह महीने का है। लेकिन पिछले छह महीनों में, मानवता ने 99 वें प्रतिशत को लेने के लिए अन्यथा निर्णय नहीं लिया है - इसलिए हर किसी के लिए जो बेंचमार्किंग का उपयोग कर सकते हैं, आंद्रेई के जवाब अभी भी बहुत प्रासंगिक और दिलचस्प हैं।

वह प्रदर्शन करेंगे"प्रदर्शन विश्लेषण के बारे में बात करते हैं" विषय के साथ DotNext के भविष्य पर - यह बेंचमार्क लिखने के बारे में नहीं है, बल्कि उनके द्वारा एकत्र किए गए मूल्यों के विश्लेषण के बारे में है। अभी, एंड्री गणितीय आंकड़ों पर सैकड़ों लेखों का अध्ययन कर रहा है, जो आपको वास्तविक जीवन में प्रदर्शन विश्लेषण के लिए सबसे उपयुक्त हैं। पुस्तक में, इस तरह के विश्लेषण पर भी ध्यान दिया जाता है, और एक साक्षात्कार में, एंड्री ने सिर्फ इसके महत्व को समझाया। इसलिए, एक नई रिपोर्ट की प्रत्याशा में, हमने सभी के लिए एक साक्षात्कार वीडियो खोला, और हमने विशेष रूप से हैबर के लिए एक पाठ प्रतिलेख बनाया: अब इसे न केवल देखा जा सकता है, बल्कि पढ़ा भी जा सकता है।

पुस्तक के बारे में मुख्य बात

- हम DotNext प्रसारण के दर्शकों का फिर से स्वागत करते हैं। इस बार एंड्री अकिंशिन हमारे साथ हैं।

- सभी को नमस्कार!

- अब आपसे जुड़ी मुख्य खबर किताब की घोषणा है, जिसे सितंबर तक जारी किया जाएगा ...

- अगर सब कुछ ठीक रहा तो यह जून के अंत में रिलीज होगी।

यहां आपको यह समझने की जरूरत है कि डेडलाइन कैसे काम करती है। सबसे चरम हैं, जिनका किसी भी मामले में उल्लंघन नहीं किया जा सकता है। अमेज़न पर, अब पुस्तक की रिलीज़ की तारीख लगभग 23 अगस्त है। और यदि आप इस तारीख को पलटते हैं, तो सभी प्रकार के दंड जाएंगे, अमेज़न दुखी हो जाएगा। और अगर किताब पहले निकलती है - अच्छा, अच्छा।

इसलिए, मैं वास्तव में आशा करता हूं कि अगर कहीं भी कोई समस्या नहीं है, तो जून में पढ़ना संभव होगा। और इसलिए, अगस्त का अंत समय सीमा है। आप आईटी में भी काम करते हैं, इसलिए आप समझते हैं कि ये चीजें कैसे काम करती हैं।

- ज्यादातर दर्शकों ने शायद किताब के बारे में पहले ही सुन लिया था। लेकिन जो लोग नहीं जानते हैं, उनके बारे में एक कहानी शुरू करते हैं।

- पुस्तक को "प्रो .NET बेंचमार्किंग" कहा जाता है । वह एप्रेस श्रृंखला से है - वही जिसमें कॉनराड कोकोनट प्रो। प्रो। मेमोरी मेमोरी बुक हाल ही में जारी की गई थी । और साशा गोल्डस्टीन की पुस्तक "प्रो .NET प्रदर्शन" प्रकाशित हुई - आपने शायद इस बारे में सुना है, यह डॉटनेट पर समय-समय पर खेला जाता है। और उसी श्रृंखला में मेरी किताब आती है। यह शुरू से अंत तक बेंचमार्किंग करने का तरीका है।

मैंने कई पहलुओं को कवर करने की कोशिश की, आंकड़ों से शुरू, इसके बारे में एक अलग अध्याय है। और यह वैसा नहीं है जैसा हमें विश्वविद्यालय में पढ़ाया गया था, मेरे पास "गेंदों के बारे में एक भी उदाहरण नहीं है जिसे बक्से में डाला जाता है"। बेंचमार्किंग के दौरान क्या काम आ सकता है इस पर ध्यान दें: मैट्रिक्स, मानक विचलन, मानक त्रुटियां, सभी प्रकार के आत्मविश्वास अंतराल और उनकी व्याख्या कैसे करें। यही है, हम निम्नलिखित के बारे में बात कर रहे हैं: यदि सशर्त बेंचमार्कडॉटनेट ने आपको एक लाख अलग-अलग संख्याएं दी हैं, तो मुझे उनके बारे में क्या करना चाहिए? इस डेटा की व्याख्या और निष्कर्ष निकालने के लिए व्यावहारिक सिफारिशें दी गई हैं।

एक अध्याय है, उदाहरण के लिए, सीपीयू-बाउंड बेंचमार्क और मेमोरी-बाउंड बेंचमार्क के बारे में। उदाहरणों के साथ बहुत सारे अलग-अलग केस स्टडी हैं कि आप 3-4 लाइनों के लिए बेंचमार्क कैसे लिख सकते हैं और साथ ही आधुनिक इंटेल प्रोसेसर के कुछ सूक्ष्मजैविक प्रभावों के कारण अपने आप को पैर में गोली मार सकते हैं।

और प्रदर्शन विश्लेषण और प्रदर्शन परीक्षण के बारे में एक अध्याय है। बेंचमार्किंग एक अलग प्रयोग के रूप में अच्छा है, लेकिन कई लोग सीआई पर बेंचमार्क डालना चाहते हैं, उन्हें हर समय किसी सर्वर पर ड्राइव करते हैं (आदर्श रूप से एक ही), उदाहरण के लिए, प्रदर्शन में गिरावट को पकड़ने के लिए, डेटा इकट्ठा करें। इसलिए, इस तरह के डेटा के साथ काम करने और विभिन्न प्रकार के प्रदर्शन परीक्षणों को लिखने का एक अध्याय है (इसमें बहुत सारे अलग हैं)। उदाहरण के लिए, एक ठंडी शुरुआत के लिए परीक्षणों के बीच अंतर है, एक गर्म शुरुआत के लिए, ग्राफ़ को कैसे संसाधित करना है, पूरे डेटा किरणों को कैसे संसाधित करना है।

पिछले DotNext में से एक पर मैंने बात की थीप्रदर्शन विश्लेषण के बारे में, उन्होंने प्रदर्शन विसंगतियों की खोज करने के विभिन्न तरीकों के बारे में बात की। गिरावट एकमात्र समस्या नहीं है जो उत्पन्न हो सकती है। उदाहरण के लिए, बेंचमार्क एक सेकंड या दस के लिए काम करता है, तो मल्टीमॉडल वितरण होते हैं। एक बड़े उत्पाद (विशेष रूप से बहु-थ्रेडेड) में, ऐसे मामले निश्चित रूप से होंगे, और आमतौर पर वे समस्या को छिपाते हैं। भले ही यह संबंधित मशीनों पर चलने वाले प्रदर्शन परीक्षणों के बारे में नहीं है, लेकिन सामान्य परीक्षणों में, शैतान जानता है कि "कैसे" कांपना और बहुत अधिक विचरण करना है, तो यदि आप यह सभी डेटा एकत्र करते हैं और विश्लेषण करते हैं, तो आप ऐसी समस्याओं के साथ बहुत सारे परीक्षण पा सकते हैं।

सामान्य तौर पर, बेंचमार्किंग में बहुत दिलचस्प कार्यों की एक विस्तृत श्रृंखला होती है, और मैंने उन्हें अलमारियों पर ध्यान से व्यवस्थित किया। लेकिन मैंने इसे यथासंभव व्यावहारिक रूप से करने की कोशिश की, ताकि यह सिर्फ एक सिद्धांत न हो, लेकिन कुछ ज्ञान जो मैं उत्पादन में अपने उत्पाद पर ले सकता था और उपयोग कर सकता था।

बेंचमार्किंग सूक्ष्मता

- मुझे याद है कि मैंने कहीं पढ़ा वाक्यांश है कि इंटरनेट पर किसी भी बेंचमार्क परिणाम के लिए आप इस परिणाम की गलत व्याख्या पा सकते हैं। आप इस वाक्यांश से कितना सहमत हैं?

- बिलकुल सहमत। वैध और अमान्य बेंचमार्क के बारे में बहुत सारी बातें होती हैं, लेकिन अगर आप किसी पक्षी की नज़र से देखते हैं, तो यदि आपने किसी तरह कुछ मापा, तो कम से कम कुछ प्रदर्शन मैट्रिक्स एकत्र किए और उन्हें एक फ़ाइल या कंसोल में प्रदर्शित किया, तो यह एक निश्चित बेंचमार्क है दृष्टिकोण से, यह मान्य है: कुछ उपाय और कुछ संख्याओं को प्रदर्शित करता है। मुख्य सवाल यह है कि आप इन नंबरों की व्याख्या कैसे करते हैं और आगे क्या करेंगे।

बेंचमार्किंग के विषय में डूबे लोगों की पहली गलतियों में से एक यह है कि वे खुद से बिना सवाल किए सब कुछ बेंचमार्क करने जा रहे हैं "क्यों।" ठीक है, हमने बेंचमार्क किया, मापा - और फिर क्या? यह निर्धारित करना बहुत महत्वपूर्ण है कि हम किस उद्देश्य से बेंचमार्किंग कर रहे हैं।

उदाहरण के लिए, यदि हम एक स्थिर कार्यभार बनाना चाहते हैं, जिसके साथ हम कुछ मामलों के प्रदर्शन का मूल्यांकन कर सकते हैं और प्रदर्शन में गिरावट का पता लगा सकते हैं - यह एक मामला है। एक और मामला: हमारे पास दो पुस्तकालय हैं जो एक ही काम करते हैं, और हम प्रदर्शन के लिए हैं और हम सबसे तेजी से एक चुनना चाहते हैं - हम इसकी तुलना कैसे करते हैं?

व्याख्याओं के दृष्टिकोण से, कोई भी जो सही व्यापारिक निर्णय की ओर जाता है, उसे अच्छा माना जा सकता है। यह आवश्यक रूप से सही नहीं है, लेकिन यदि आप सफल हैं, तो यह अच्छा है।

और ऐसी बात है कि मुझे अपनी पुस्तक में विशेष अभ्यास भी करना है। मान लें कि दो एल्गोरिदम हैं, और व्यायाम यह है: पहले आपको एक बेंचमार्क बनाने की आवश्यकता है जो यह दर्शाता है कि पहला एल्गोरिदम दूसरे की तुलना में 10 गुना तेज है, और फिर एक बेंचमार्क जो विपरीत दिखाता है। आप स्रोत डेटा के साथ खेल सकते हैं, पर्यावरण के साथ, मोनो को .NET कोर में बदल सकते हैं, या विंडोज के बजाय लिनक्स पर चला सकते हैं - अनुकूलन के लिए एक लाख विकल्प हैं। और निष्कर्ष यह है: यदि आप यह दिखाने के लिए निर्धारित करते हैं कि एक कार्यक्रम दूसरे की तुलना में तेजी से काम करता है, तो सबसे अधिक संभावना है कि यह करने का एक तरीका है।

इसलिए, अपने प्रश्न पर लौटते हुए, वैध और अमान्य बेंचमार्क के बीच एक रेखा खींचना और अमान्य की परिभाषा देना बहुत मुश्किल है (जो कि वहाँ होना चाहिए ताकि हम पहचानें कि यह खराब है)। और "सही" और "गलत" व्याख्याओं के बीच अंतर के साथ एक ही बात: आप पूरी तरह से समझ नहीं सकते हैं कि बेंचमार्क में क्या हो रहा है, आप पूरी तरह से सभी आंतरिक प्रक्रियाओं की व्याख्या नहीं कर सकते हैं (जो बहुत अच्छा नहीं है, यह करना बेहतर होगा, लेकिन आप इस हिस्से को छोड़ सकते हैं, यदि बहुत व्यस्त है), लेकिन एक ही समय में सामान्य रूप से समझें कि चित्र कैसा दिखता है। और अगर आप इसे सही तरीके से करने में कामयाब रहे (यहाँ फिर से सवाल यह है कि "सही" क्या है) और सही व्यापार निर्णय पर आते हैं, तो आप अच्छी तरह से कर रहे हैं।

"यदि आप बस अपनी पुस्तक को सोच समझकर लेते हैं, तो क्या आप" सही "निर्णय लेने लगेंगे?" या किताब के दायरे से बाहर कई चीजें हैं जो भी प्रभावित करती हैं?

- बेंचमार्किंग एक ऐसा विषय है, जो मेरी राय में, केवल अभ्यास में महारत हासिल कर सकता है। हां, पुस्तक में मैं बहुत सारी कार्यप्रणाली, सिफारिशें देता हूं, नुकसान के बारे में बताता हूं। बेंचमार्किंग में, ऐसी बहुत सारी समस्याएं हैं, जिनके बारे में आप नहीं जानते हैं, तो जीवन में आप कभी भी उनके बारे में अनुमान नहीं लगाएंगे। लेकिन अगर आप उनके बारे में जानते हैं, तो यह पूरी तरह से गारंटी देता है कि आपके बेंचमार्क सही होंगे। यही है, यह एक ऐसा न्यूनतम टूलकिट है जो किसी भी तरह क्षेत्र में खुद को उन्मुख करने में मदद करता है।

आप सामान्य बेंचमार्क और प्रदर्शन परीक्षण तभी लिख सकते हैं जब आप इस क्षेत्र से व्यवस्थित रूप से निपटेंगे। प्रदर्शन की रिपोर्ट पढ़ने के लिए सिर ट्रेनों में तंत्रिका ग्रिड - जब आप प्रदर्शन माप के दौरान प्राप्त वितरण को देखते हैं, तो आप सारांश तालिकाओं को देखते हैं, उदाहरण के लिए, बेंचमार्कडॉटनेट (और न केवल "औसत" कॉलम, बल्कि मानक विचलन भी। ), आप मानक त्रुटियों को देखते हैं, अतिरिक्त विशेषताओं पर, न्यूनतम पर, अधिकतम पर, मात्रात्मक पर, 99 वें प्रतिशत पर।

जब आप यह सब बहुत, बहुत, बहुत, बहुत कम देखते हैं, तो एक निश्चित न्यूनतम मात्रा जमा हो जाती है, जिससे आप प्रदर्शन में तेजी से निवेश कर सकते हैं और बिना अनुभव के लोगों को देख सकते हैं (भले ही वे मेरी किताब और एक लाख ब्लॉग पोस्ट पढ़ें) नहीं देखेंगे इस तथ्य के कारण कि उनके पास कोई अनुभव नहीं है। वे कोई समस्या नहीं देखेंगे या डेटा की तुरंत और सही व्याख्या नहीं कर पाएंगे।

- दिमित्री नेस्टरुक के साथ एक साक्षात्कार में इस DotNext पर (mezastel) हमने कहा कि आमतौर पर आईटी पुस्तकें जल्दी पुरानी हो जाती हैं, लेकिन अगर वह डिजाइन पैटर्न के बारे में लिखती हैं, तो हर साल वहां सब कुछ नहीं बदलता है। और बेंचमार्किंग के बारे में क्या: यह पुस्तक बहुत लंबे समय तक पुरानी नहीं हो सकती है, या आपने दो साल पहले कुछ और लिखा होगा?

- मोनोसैलिक उत्तर देना बहुत मुश्किल है। कुछ आधार है, कुछ मातृत्व जो अप्रचलित नहीं हुए। समान आँकड़े: जैसा कि 99 वें प्रतिशताइल को दो साल पहले माना जाता था, यह अभी भी ऐसा माना जाता है, और संदेह है कि दो साल में कुछ भी नहीं बदलेगा।

वैसे, एक ही समय में मैं ध्यान देता हूं: मेरा मानना ​​है कि बेंचमार्किंग एक अलग अनुशासन होना चाहिए। किसी कारण से, ऐतिहासिक रूप से, किसी ने व्यवस्थित माप पर ध्यान नहीं दिया। खैर, वहाँ क्या है? उन्होंने इसे लिया, टाइमर शुरू किया, टाइमर बंद कर दिया, देखा कि कितना पास हो गया। और पुस्तक में, प्रारंभिक अनुमानों के अनुसार, यह 600 से अधिक पृष्ठ निकला, और हर कोई मुझसे पूछता है: "600 पृष्ठों पर क्या लिखा जा सकता है?"

और मेरा मानना ​​है कि यह एक अनुशासन, कंप्यूटर विज्ञान का एक अलग क्षेत्र होना चाहिए। और यह एक ऐसी "भाषा-अज्ञेयवादी" दिशा है, जहाँ सामान्य उपकरण सही बने रहते हैं और बदलते नहीं हैं: यही वह मानवता है जो संपूर्ण रूप से पहुँच चुकी है। यह किसी भी रनटाइम, भाषा, पारिस्थितिकी तंत्र पर लागू होता है। लेकिन यह उत्तर का केवल एक हिस्सा है।

और दूसरा भाग .NET की सुविधाओं के लिए पहले से ही रनटाइम की सुविधाओं से बंधा हुआ है। अभी (हमारे पास किताब में इसके बारे में बहुत कुछ है), हमारे पास .NET फ्रेमवर्क है, .NET .NET है, और मोनो है। प्रदर्शन माप विभिन्न रनटाइम पर या एक ही रनटाइम के दो आसन्न संस्करणों पर भी भिन्न हो सकते हैं। यदि आप .NET कोर 2.2 और आगामी .NET कोर 3.0 लेते हैं, तो कुछ कार्यभार दिन और रात की तरह भिन्न होते हैं। वे ऐसी शांत अनुकूलन करते हैं कि सबसे सरल परिदृश्यों को 10 बार, 50 बार त्वरित किया जाता है।

यह स्पष्ट है कि यदि आप कोर के नए संस्करण पर स्विच करते हैं, तो पूरा कार्यक्रम 50 गुना तेजी से काम करना शुरू नहीं करेगा, लेकिन व्यक्तिगत छोटे टुकड़े, जो अक्सर सिंथेटिक बेंचमार्क में आते हैं, अच्छी तरह से ओवरक्लॉक हो सकते हैं।

और जो बदलता है, इन सभी संस्करणों के संबंध में मुख्य रूप से परिवर्तन होता है, नई अनुकूलन दिखाई देते हैं। उदाहरण के लिए, tiered jitting .NET Core 3.0 में दिखाई देगी । यही है, रनटाइम पहले कोड द्वारा विधि के लिए एक सरल (और बहुत प्रभावी नहीं) मूल कार्यान्वयन जल्दी से उत्पन्न कर सकता है। और फिर, जब रनटाइम नोटिस करता है कि आप इस विधि को कई बार कहते हैं, तो कई बार, यह पृष्ठभूमि में थोड़ा अधिक समय बिताएगा और अधिक उत्पादक कोड को पुन: उत्पन्न करेगा। इस तथ्य के बारे में कि हॉटस्पॉट में जावा में कई साल हो गए हैं। .NET दुनिया में यह इस साल की दूसरी छमाही में डिफ़ॉल्ट रूप से शामिल रिलीज़ में दिखाई देगा (संपादक का नोट: हम आपको याद दिलाते हैं, साक्षात्कार 2019 में लिया गया था) ।

और बेंचमार्कडॉटनेट के लिए, ऐसे मामलों को सामान्य रूप से संभालना एक चुनौती है। जावा दुनिया में, एलेमी शिपिलेव अपने जेएमएच मेंमैंने सीखा कि इसे बहुत पहले कैसे संभालना है, लेकिन हमें अभी भी करना है। इस विषय पर, मैं उन लोगों के साथ संवाद करता हूं जिन्होंने रनटाइम देखा। यही है, मुझे हर चीज से सही तरीके से निपटने के लिए उनसे विशेष पेन, एपीआई की आवश्यकता होगी।

ये चीजें बदल रही हैं। जल्द ही हमारे पास सभी रनटाइम एकजुट होंगे, एक .NET 5 होगा। मेरा मानना ​​है कि इसे किसी भी तरह से अलग नाम दिया जाएगा, कि यह एक मध्यवर्ती नाम है। शायद यह 5 नहीं होगा, लेकिन 6, क्योंकि हमारे पास पहले से ही .NET कोर 5.0 का एक संस्करण था।

- ठीक है, जैसा कि हम विंडोज से जानते हैं, माइक्रोसॉफ्ट के लिए संस्करण में नंबर को छोड़ना कोई समस्या नहीं है।

- हाँ। पहले से ही DNX के समयपांचवें .NET कोर के साथ लक्ष्य ढांचे थे, अब "5.0" का उपयोग पहले ही किया जा चुका है, जहां बहुत सारे पुराने पद हैं। इसलिए मुझे पता नहीं है, वे अब तीसरे संस्करण के बाद पांचवां बनाने जा रहे हैं, लेकिन मुझे केवल चार नहीं, बल्कि पांच भी याद होंगे, और छठे को तुरंत बना दिया होगा। और इस तथ्य को ध्यान में रखते हुए कि वे अब बनाना चाहते हैं, मेरी राय में, विषम संस्करण स्थिर एलटीएस, और यहां तक ​​कि बहुत स्थिर नहीं हैं, यह तुरंत सात तक संभव होगा।

खैर, यह उनका सिरदर्द है। लेकिन यह महत्वपूर्ण है कि आपको रनटाइम्स के विकास की निगरानी करने की आवश्यकता है, और यह यह .NET-विशिष्ट हिस्सा है जो अप्रचलित हो रहा है - इतनी जल्दी नहीं कि यह अप्रचलित है, लेकिन चुपचाप।

मैं पहले से ही एक पुस्तक का दूसरा संस्करण बनाने के बारे में सोच रहा हूँ जहाँ यह सब अद्यतन किया गया है। इंटेल प्रोसेसर भी स्थिर नहीं हैं, वे विकसित हो रहे हैं, नए अनुकूलन दिखाई देते हैं, जिन्हें भी चालाक तरीके से नियंत्रित करने की आवश्यकता होती है। स्काईलेक ने बहुत सारे अप्रिय आश्चर्य प्रस्तुत किए, उसी बेंचमार्कडॉटनेट में अपनी मुश्किल अनुकूलन के आसपास और स्थिर परिणाम प्राप्त करने के लिए बहुत काम किया गया।

बेंचमार्कडॉटनेट और राइडर के साथ बातचीत

- यह स्पष्ट है कि बेंचमार्कडॉटनेट लाइब्रेरी पर काम करने से आपको बहुत अनुभव मिला है, इसलिए यह तर्कसंगत है कि यह आप ही थे जिन्होंने बेंचमार्किंग के विषय पर पुस्तक लिखी थी। और यहां यह सवाल उठता है: क्या किताब किसी तरह बेंचमार्कडॉटनेट से बंधी है, या यह "टूल-एग्नॉस्टिक" है?

- मैंने उसका उपकरण-अज्ञेय बनाने की कोशिश की। बेंचमार्कडॉटनेट के बारे में, मेरे पास एक छोटा सा खंड है, और मैं इसे अपने केस स्टडीज में उदाहरण के रूप में भी उपयोग करता हूं: जब मुझे कुछ छोटे सूक्ष्मजैविक प्रभाव दिखाने की आवश्यकता होती है, तो मैं कहता हूं "यहां हम बेंचमार्कडॉटनेट का उपयोग करके एक बेंचमार्क लिखेंगे"। बस के रूप में पुस्तक में प्रत्येक बेंचमार्क में एक लाख पट्टियाँ डाल करने के लिए नहीं है, कहीं अलग वार्म अप तर्क लिखने के लिए। हमारे पास पहले से ही तैयार एक समाधान है जो हमारे लिए पूरे बेंचमार्क को नियमित करता है, और हम अब कार्यप्रणाली के बारे में बात नहीं करेंगे (हमने शुरुआत में इसके बारे में बात की थी), लेकिन सीपीयू स्तर पर प्रभावों के बारे में बात करते हैं।

यहां दो उपयोग के मामले हैं, और मैंने बेंचमार्कडॉटनेट से जितना संभव हो उतना सार करने की कोशिश की। यह पुस्तक न केवल .NET डेवलपर्स के लिए उपयोगी थी, बल्कि उदाहरण के लिए, जावा डेवलपर्स के लिए भी उपयोगी थी। क्योंकि सभी सामान्य यांत्रिकी आसानी से किसी अन्य प्लेटफ़ॉर्म पर पोर्ट किए जाते हैं, अर्थात .NET और बेंचमार्कडॉटनेट का उपयोग अवधारणा को चित्रित करने के लिए एक उपकरण के रूप में किया जाता है।

- और दूसरी दिशा में प्रभाव था? क्या, पुस्तक पर काम करने की प्रक्रिया में, क्या आप अंततः इस तरह के बेंचमार्कडॉटनेट में क्या करने की आवश्यकता है?

- हां, मैंने विशेष रूप से पुस्तक में होने के लिए सभी प्रकार के छोटे चिप्स लिखे। उदाहरण के लिए, मल्टीमॉडल वितरण का शांत पता लगाना, जिसके बारे में मैंने पहले ही बात की थी।

एक अच्छे तरीके से, जब आप बेंचमार्क के परिणामों का विश्लेषण करते हैं, तो आपको हमेशा वितरण को देखना चाहिए, चित्र को खोलना चाहिए, अध्ययन करना चाहिए कि वहां क्या हुआ था। लेकिन व्यवहार में, कोई भी नहीं करता है। क्योंकि यदि मैं किसी प्रकार के कोड आधार पर सशर्त रूप से 50 बेंचमार्क चलाता हूं, और मैं दिन में 10 बार इस कोड के आधार को बदलता हूं, और हर बार जब मैं पूर्ण सेट को पुनः आरंभ करता हूं, तो मैं निश्चित रूप से 50 ग्राफ नहीं देखता, मुझे यह करना होगा lazily। और यह, द्वारा और बड़े, इसका कोई मतलब नहीं है, यह कोई मानवीय कार्य नहीं है, यह ट्यूनिंग का कार्य है।

बेंचमार्कडॉटनेट में एक शांत एल्गोरिथ्म है जो स्वचालित रूप से निर्धारित करता है कि वितरण मल्टीमॉडल है और उपयोगकर्ता को चेतावनी देता है: “यार! चार्ट पर देखो! यहाँ सब कुछ बुरा है! यह वह जगह है जहां कॉलम में औसत मूल्य दिखाई देता है, इसे मत देखो! यह कुछ भी अनुरूप नहीं है, चार्ट को देखो! "

और यह केवल उन मामलों में मुद्रित किया जाता है जब व्यर्थ में ग्राफिक्स में किसी व्यक्ति को विचलित नहीं करना वास्तव में महत्वपूर्ण होता है। वहां, ब्रेंडन ग्रेग के तथाकथित एम मूल्यों के आधार पर एक दृष्टिकोण , नेटफ्लिक्स में एक प्रमुख प्रदर्शन इंजीनियर है।

लेकिन उसका दृष्टिकोण मेरे लिए पर्याप्त नहीं था क्योंकि वह वितरण के आधार पर विशेष रूप से निर्मित हिस्टोग्राम का उपयोग करता है। यही है, एक हिस्टोग्राम इनपुट को खिलाया जाता है, एन मूल्य पर विचार किया जाता है और यह जादुई रूप से इसके द्वारा निर्धारित किया जाता है, हमारे पास मल्टीमॉडल वितरण है या नहीं। और हिस्टोग्राम बनाने के लिए, ब्रेंडन ग्रेग ने नहीं लिखा! मुझे अपनी खुद की बाइक का आविष्कार करना था, जिसने आश्चर्यजनक रूप से अच्छा काम किया। इस एल्गोरिथ्म को एक पुस्तक में संक्षेप में प्रस्तुत किया गया है।

ऐसी बहुत सी कहानियाँ थीं। सीधे किताब लिखने में मुझे ढाई साल लग गए। सामान्य तौर पर, मैं प्रकाशन गृह के साथ एक समझौते में प्रवेश करने के पांच साल, और ढाई साल से सामग्री एकत्र कर रहा हूं। इन ढाई वर्षों के लिए, पुस्तक के लिए धन्यवाद, पुस्तकालय को कई मामलों में पंप किया गया है, बहुत सारी चीजें वहां दिखाई दी हैं।

- कल्पना करना मुश्किल है, लेकिन पुस्तक और बेंचमार्कडॉटनेट के अलावा, आपके जीवन में राइडर पर भी काम है - और वहां आप शायद बेंचमार्क भी करेंगे। क्या आप इस बारे में बात कर सकते हैं? आपके पास फ्रीज़र और हीटर के बगल में एक मैकबुक की ट्विटर तस्वीरें थीं , यह जाँच कर कि यह प्रदर्शन को कैसे प्रभावित करता है - क्या यह काम के लिए था, या किताब के लिए, या दोनों एक साथ?

- बल्कि, सभी एक साथ। में सवारहम व्यक्तिगत प्रदर्शन निवेश के लिए बेंचमार्कडॉटनेट का उपयोग करते हैं। यही है, जब आपको यह पता लगाने की आवश्यकता होती है कि कुछ प्रदर्शन क्रिटिकल पीस में कोड लिखने के लिए सबसे अच्छा कैसे है, या आपको यह अध्ययन करने की आवश्यकता है कि हम लिनक्स पर मोनो के तहत और विंडोज पर .NET फ्रेमवर्क के तहत कोड के टुकड़े के व्यवहार में कैसे भिन्न हैं। हम बेंचमार्कडॉटनेट लेते हैं, एक प्रयोग डिजाइन करते हैं, परिणाम इकट्ठा करते हैं, निष्कर्ष निकालते हैं, व्यापार निर्णय लेते हैं, कोड कैसे लिखें ताकि यह हर जगह जल्दी से काम करे। और फिर इस बेंचमार्क को फेंक दिया जाता है।

यही है, हमारे पास बेंचमार्कडॉटनेट पर एक व्यवस्थित आधार बेंचमार्क नहीं है जो सीआई पर चलेगा। लेकिन इसके बजाय, हमारे पास प्रदर्शन कार्य के कई अन्य क्षेत्र हैं। उदाहरण के लिए, एक आंतरिक उपकरण जो सभी परीक्षणों से संख्या एकत्र करता है और उनमें विभिन्न प्रदर्शन विसंगतियों की तलाश करता है, वही मल्टीमॉडल वितरण, कुछ बड़े मानक विचलन के साथ परीक्षण, और यह सब एक डैशबोर्ड में एकत्र करता है।

एक और दृष्टिकोण जो हम बहुत लंबे समय से काम कर रहे हैं लेकिन ऐसा नहीं किया है, विश्वसनीय प्रदर्शन परीक्षण हैं। यही है, हम एक दृष्टिकोण बनाना चाहते हैं जिसमें मास्टर शाखा में प्रदर्शन में गिरावट को रोकना असंभव है।

और क्लासिक बेंचमार्क बहुत उपयुक्त नहीं हैं, क्योंकि वे बहुत संसाधन-गहन हैं। सामान्य आंकड़े प्राप्त करने और किसी तरह इसके साथ काम करने के लिए कई पुनरावृत्तियों को करना आवश्यक है। और जब आपके पास सैकड़ों या हजारों प्रदर्शन परीक्षण होते हैं, यदि आप प्रत्येक परीक्षण को 30 बार चलाते हैं, जैसा कि अपेक्षित है, और यह प्रत्येक व्यक्ति के प्रत्येक ब्रंच के लिए है - कोई लोहा पर्याप्त नहीं है।

इसलिए, एक तरफ, मैं संभव के रूप में कुछ पुनरावृत्तियों करना चाहता हूं (आदर्श रूप से एक, लेकिन एक समय में यह कहना बहुत मुश्किल है कि क्या आपके पास गिरावट है)। सबसे खराब चीज जो हो सकती है वह झूठी सकारात्मक है, जब आपने कुछ भी गलत नहीं किया था, लेकिन सिस्टम प्रदर्शन में गिरावट के बारे में बात करता है और आपको मास्टर में ब्रंच को फ्रीज करने की अनुमति नहीं देता है। यदि ऐसा होता है, तो वे मुझ पर पत्थर फेंकेंगे, और कोई भी इस प्रणाली का उपयोग नहीं करेगा।

इसलिए, सशर्त रूप से, यदि एक पुनरावृत्ति के बाद पूर्णता का संदेह होता है, लेकिन 100% विश्वास नहीं है, तो यह दूसरा पुनरावृत्ति करने के लायक है। दूसरे के बाद, आप यह तय कर सकते हैं कि हमारे साथ सब कुछ ठीक है, बस संयोग से कि कुछ हुआ था। आप कह सकते हैं कि अब हम प्रदर्शन में गिरावट और मार्च पर प्रतिबंध लगाने के बारे में सुनिश्चित हैं। और आप कह सकते हैं: "नहीं, दो पुनरावृत्तियों अभी भी पर्याप्त नहीं हैं, हमें तीसरे पर जाने की आवश्यकता है।" अच्छी तरह से और इतने पर।

और थोड़ी संख्या में पुनरावृत्तियों (एक, दो, तीन) पर, मानक परीक्षण बिल्कुल काम नहीं करते हैं। यहां मेरा पसंदीदा मान-व्हिटनी परीक्षण है।कम से कम पांच पुनरावृत्तियों होने पर ठीक काम करना शुरू कर देता है। लेकिन हम पांचवें तक तभी पहुंचते हैं जब सब कुछ पूरी तरह से खराब हो जाता है। तदनुसार, ऐसी विशेषताओं को विकसित करना आवश्यक है जो कभी भी झूठी सकारात्मक नहीं देगा, लेकिन साथ ही यह गिरावट का पता लगाएगा जब वे मौजूद हैं, पुनरावृत्तियों की न्यूनतम संभव संख्या के साथ। और अब यह प्रोग्रामर इंजीनियरिंग और गणितीय सूत्रों के मिश्रण के लिए एक कठिन काम है। हम अभी तक समाप्त नहीं हुए हैं, लेकिन हम इस पर जा रहे हैं।

और रेफ्रिजरेटर में मैकबुक के बारे में - यह सब काम के लिए भी है। अब मिनी-प्रोजेक्ट्स में से एक जो मैं बहुत करता हूं वह थर्मल थ्रॉटलिंग मॉडल का अध्ययन है। स्थिति इस प्रकार है: जब सीपीयू-बाउंड बेंचमार्क हार्डवेयर को बहुत अधिक लोड करता है, तो सीपीयू का तापमान बढ़ जाता है, और जब यह एक निश्चित सीमा मूल्य तक पहुँच जाता है, तो इंटेल प्रोसेसर या ऑपरेटिंग सिस्टम कहता है: “अय-य-य! हम ओवरहीटिंग कर रहे हैं! ” - और समय की कुछ अवधि के लिए आवृत्ति कम कर देता है। और फिर, उदाहरण के लिए, 2-3 पुनरावृत्तियां प्राप्त की जाती हैं, जिस पर प्रदर्शन में गिरावट स्पष्ट रूप से दिखाई देती है। और हम इस तरह हैं: “ओह, ओह, ओह, ओह! सब कुछ बुरा है! हम इस ब्रंच को नहीं रखेंगे। ” लेकिन वास्तव में, हमारे पास बस एक प्रदर्शन एजेंट है जो बहुत गर्म है।

इससे निपटने के लिए अलग-अलग तरीके हैं। हमारे पास अपने स्वयं के स्टैंड के साथ अपना स्वयं का सर्वर रूम है, हम वहां पर्याप्त शीतलन प्रदान करने की कोशिश कर रहे हैं ताकि यह थर्मल थ्रॉटलिंग न हो। लेकिन यह भी हमेशा सफल नहीं होता है। यही है, हम एजेंटों को पूरी तरह से मुक्त नहीं कर सकते हैं, वे इस बहुत से नहीं होंगे, लेकिन किसी तरह हमें लड़ने की जरूरत है।

एक अन्य विकल्प, उदाहरण के लिए, टर्बो बूस्ट को बंद करना ताकि प्रोसेसर बेस फ्रीक्वेंसी से आगे न बढ़े। यह, तदनुसार, ओवरहीटिंग की संभावना को कम करता है, प्रोसेसर पहले से ही इतना गर्म नहीं है। और दूसरी बात, हम एक अधिक स्थिर आवृत्ति प्राप्त करते हैं (एक टर्बो बूस्ट में यह अक्सर बहुत अधिक कांपता है, और आधार आवृत्ति पर टर्बो बूस्ट के साथ यह बहुत सीधा हो जाता है और आपको बहुत अधिक स्थिर परिणाम मिलता है)।

और थर्मल थ्रॉटलिंग मॉडल बहुत अलग हैं: सबसे पहले, बहुत कुछ प्रोसेसर पर और सभी लोहे के कॉन्फ़िगरेशन पर निर्भर करता है, और दूसरी बात, ऑपरेटिंग सिस्टम पर। उदाहरण के लिए, एक मैक लें: हमारे पास बहुत सारे मैक परीक्षण हैं, क्योंकि बहुत सारे उपयोगकर्ता हैं और वे नहीं चाहते कि राइडर धीमा हो। और एक बहुत ही आक्रामक थर्मल थ्रॉटलिंग मॉडल है।

हाल ही में घोषित किए गए नए इंटेल प्रोसेसर पर, और भी अधिक जटिल चुटकुले हैं। यदि आपका तापमान 50 डिग्री की तरह एक निश्चित सीमा मूल्य से नीचे चला जाता है, तो आवृत्ति एक नियमित टर्बो बूस्ट पर अधिकतम आवृत्ति से भी अधिक कूद सकती है। यही है, वे कम तापमान पर गतिशील ओवरक्लॉकिंग "थोड़ा सा" जैसा कुछ करते हैं। वही प्रभाव। हमारे एजेंट अभी भी सशर्त रूप से पुराने प्रोसेसर हैं, अभी तक उन्नत नहीं किए गए हैं, लेकिन गीक्स जो खुद को सभी नवीनतम खरीदना पसंद करते हैं, इस पर कदम रख सकते हैं।

भविष्य

"मुझे आपको बीच में रोकना होगा, क्योंकि समय समाप्त हो रहा है।" लेकिन जो लोग अंतर्ग्रही हैं: क्या आप इस सामग्री पर एक ब्लॉग पोस्ट लिखने जा रहे हैं?

- हां, जब मैं सामग्री एकत्र कर रहा हूं, तो वहां सब कुछ बहुत दिलचस्प है, थर्मल थ्रॉटलिंग का एक बहुत ही जटिल मॉडल। उदाहरण के लिए, विंडोज पर पावर थ्रॉटलिंग, जो आपको बैटरी पावर और बहुत कुछ बचाने की अनुमति देता है। जब मैं डेटा एकत्र कर रहा हूं, और फिर मैं यह सब एक ब्लॉग पोस्ट में, या यहां तक ​​कि एक वैज्ञानिक लेख में जोड़ दूंगा, या यह पुस्तक के दूसरे संस्करण में आएगा।

, . — , , .

— DotNext 2020 Piter -. , , , . -, , . -, . — .

Source: https://habr.com/ru/post/undefined/