अलर्ट-एस और स्टोरेज के एरर-एस, उनसे कैसे निपटें?

इतना समय पहले नहीं, एन शहर में, ग्राहक डेटा के साथ काम करने में विशेषज्ञता वाली एक आईटी कंपनी ने अपने डीसी 24/7 में सफलतापूर्वक काम किया। एक ही मामला जब "जूते में shoemaker", अर्थात् आईटी कंपनी आईटी में अच्छी तरह से डिबग किया गया था। दिलचस्प बात तब शुरू हुई, जब कई वर्षों के काम के बाद, तकनीकी निदेशक ने अपना पद छोड़ दिया, जो मूल बातें पर खड़ा था, जिस पर पूरे आईटी वर्टिकल के उचित संचालन पर नियंत्रण रखा गया था। उन्हें एक ऐसे व्यक्ति के रूप में प्रतिस्थापित किया गया जो कम अनुभवी नहीं था (इसके बाद "पेशेवरों" के रूप में जाना जाता है), और यहां तक ​​कि एक व्यापक क्षितिज के साथ, उन्होंने नए विकास क्षितिज के साथ सचमुच "व्यवसाय" को मोहित किया। लेकिन, जैसा कि अक्सर होता है, उच्च-उड़ान वाले लोग सामान्य प्रशासन के स्तर पर जमीन पर उतरने के लिए बहुत अनिच्छुक होते हैं।

घटना का समय:

एक दिन (अप्रैल) : एक स्थानीय भंडारण प्रणाली ने अलर्ट डालना शुरू किया, और फिर उनमें से पहली त्रुटियां सामने आईं। यह देखकर, व्यवस्थापक ने निर्देशों के अनुसार अपने पर्यवेक्षक को सूचित किया। हमारे पेशेवरों ने "प्रोग्रामर के सुनहरे नियम" का पालन करके उत्तर को वापस लहराया - "क्या यह काम करता है?" छुओ मत!"।

पहले दिन का रिट्रीट - आमतौर पर स्टोरेज सिस्टम अलर्ट का उपयोग करके संचार करता है, जिसके बीच अलर्ट ("अलर्ट") - अलार्म को हाइलाइट करने लायक है। वास्तव में, ये ऐसे अलर्ट हैं जो अलार्म घटना को इंगित करते हैं या इसे सचेत करते हैं। अलर्ट के प्रकार:
चेतावनी ("चेतावनी" से) - चेतावनी; आमतौर पर शांति से सोचने का समय देते हैं।
एरोरा ("त्रुटि" से) - त्रुटियां; उदाहरण के लिए, एक डिस्क दुर्घटनाग्रस्त हो गई, लेकिन डेटा पहुंच बाधित नहीं हुई; बाद में अपना निर्णय स्थगित करने लायक नहीं है।
( “Critical Error”) – , , .

(/) , ( /) , . ( ) ,

(): हमारे इंजीनियर (अगाट-ए), ग्राहक की एक अन्य परियोजना पर काम कर रहे हैं, इन त्रुटियों के बारे में पता लगाते हैं, और आश्चर्य करते हैं कि "उन्होंने क्या किया?", इसका उत्तर "कुछ भी नहीं है, आपके आंतरिक सिस्टम में एक मामला मिला, प्रबंधन आज तक है, ..." । स्थानीय व्यवस्थापक की ओर से, सब कुछ मानक प्रक्रिया के अनुसार किया गया था, स्पष्ट रूप से दो महीने पहले निर्देशों के अनुसार। सवाल करने के लिए - शायद आपको मदद की ज़रूरत है, व्यवस्थापक ने जवाब दिया कि उसने अपना हिस्सा पूरा कर लिया, लेकिन कोई टीम नहीं थी।

डे टू रिट्रीट:

आपदा वसूली चेकलिस्ट का परिचय और विवेकपूर्ण उपयोग कार्यों की सामान्य तस्वीर को बहाल करने में मदद करेगा, और स्पष्ट गलतियों और अनावश्यक उपद्रव से बचने में भी मदद कर सकता है।

एक जटिल की आपदा वसूली के लिए एक चेकलिस्ट का एक उदाहरण:
, .
— . — .

, , .

, — .



(): त्रुटियों को नजरअंदाज करते हुए इस तथ्य को जन्म दिया कि भंडारण प्रणाली कम संवेदनशील हो गई और पहले से ही "किसी कारण से" हमेशा उन कार्यों को बाहर नहीं निकालता था, जो ग्राहकों की भीड़ के दौरान काम की गति के बारे में ग्राहकों की पहली शिकायत दिखाई देते थे। और यहां पहले से ही एक समर्थक (आईटी प्रबंधक) ने एक योजना बैठक पर पूछा। उन्होंने महसूस किया कि यह कुछ करने का समय था और "इंजन रूम" में चला गया। निचला रेखा - दिन के दौरान, विक्रेता के पोर्टल पर एक मामला खोला गया था ... एक असफल नियंत्रक!

उसके बाद, ग्राहक इंजीनियर ने विनम्रता से हमारी मदद करने के लिए कहा। अलग-अलग, यह उल्लेख करना आवश्यक है कि सिस्टम खरीदते समय ऑनसाइट पार्टनर और विक्रेता समर्थन को बचाने के लिए, हमें "कट" और डे जुरे को इन मुद्दों से बिल्कुल नहीं निपटना चाहिए, लेकिन, ग्राहक और परियोजनाओं के साथ अच्छे संबंध की उपस्थिति के कारण हर साल और डेढ़ साल में लागू किया जाता है। हम ग्राहक के अनुरोध पर समस्या को हल करने के लिए जुड़े हुए हैं। लॉग को हटाने के लिए तुरंत कहें, हम उन्हें तुरंत प्राप्त करते हैं, विक्रेता से संपर्क करने की स्थिति के बारे में अधिक स्पष्ट रूप से वर्णन करते हैं, महत्व निर्धारित करते हैं, आदि। लॉग दिखाते हैं कि एक नियंत्रक मर गया, और दूसरा दुर्घटनाग्रस्त हो गया, लेकिन यह मक्खी पर त्रुटियों को ठीक करता है, और दूसरे नियंत्रक में बैटरी भी मर गई है। हम निदान की घोषणा करते हैं (अच्छी तरह से, यह एक वाक्य नहीं है), हम निर्माता से नियंत्रकों के क्रम में तेजी लाते हैं, हमेशा की तरह, वे रूसी गोदाम में नहीं थे।

— , . . / .

.
:

.
: ____________________.
: ____________________.
.
: ____________________.
: ____________________.

, .
, .

, , , . , .

:

• , .. , , .
• , .. IT-.
• .
• IT-.

चौथा दिन (अगस्त) : कुछ हफ्तों के बाद, नियंत्रकों ने सीमा शुल्क को पार कर लिया और सर्वर ग्राहक तक पहुंच गए (साथ ही, हमने सीरियल नंबरों को फिर से लिखा, पुराने नियंत्रक भेजते समय उन्हें विक्रेता के समर्थन में मामला बंद करने की आवश्यकता होगी)। कस्टम से सर्वर तक का रास्ता 2 दिन है। और फिर ... इत्मीनान से हकीकत फिर से शुरू हुई। और हम इतनी जल्दी में क्यों थे? ग्राहक ने हमारे विशेषज्ञों द्वारा नियंत्रकों के प्रस्तावित प्रतिस्थापन से इनकार कर दिया, या कम से कम इस प्रक्रिया के साथ, हम खुद मूर्ख नहीं होंगे, हम इसका पता लगाएंगे (जैसा कि पिछले तकनीकी निदेशक के काम के दौरान दिखाया गया था, यह 100% सच था)। सेवा की शर्तों के अनुसार, प्रतिस्थापित पुराने नियंत्रकों को दो सप्ताह के भीतर निर्माता को वापस भेजना आवश्यक है। निर्माता ने ग्राहक को एक से अधिक बार रिटर्न की याद दिलाई।

चौथे दिन की वापसी - लोग मानव हैं, एक प्रश्न पूछने से डरो मत, मदद के लिए पूछने में संकोच न करें और अपने आप को दोबारा जांचने के लिए तिरस्कार न करें। बेशक, ऐसे लोग हैं जो अपने कूबड़, अनुभव और दिन में 12 घंटे काम करने की क्षमता पर काम कर सकते हैं, पूरे संगठनात्मक घटक को खींच सकते हैं। टीमवर्क का तात्पर्य है कि हर कोई अपनी ताकत का उपयोग करता है, और इसके विपरीत नहीं। विशेषज्ञों के अनुसार, महत्वपूर्ण परिस्थितियों के होने से पहले बैकअप विकल्पों के माध्यम से काम करें। पहले से उनके लिए तैयार हो जाओ और उन्हें तुम्हारे पास से जाने दो। और यहां तक ​​कि अगर कुछ होता है, तो आप कम से कम नुकसान के साथ इन परीक्षणों को पारित करने के लिए तैयार और सक्षम होंगे।

पांच दिन (अक्टूबर, क्लाइमेक्स):

निम्नलिखित हमारे पहले व्यक्ति इंजीनियर द्वारा लिखित एक पाठ है।

सुबह जल्दी, जब कार्यालय लगभग 5 मिनट पैदल था, एक अज्ञात नंबर से एक कॉल आया। मैं कॉल का जवाब देता हूं - एक चिंतित आवाज उनके पेशेवरों को अपने भंडारण के साथ समस्या को हल करने में मदद करने के लिए कहती है, क्योंकि ग्राहक अपनी सेवा तक नहीं पहुँच सकते। बातचीत के दौरान मैं ग्राहक की पहचान करने की कोशिश कर रहा हूं। और, उनकी तरह, मुझे याद है कि उन्होंने (पेशेवरों ने) पूरी तरह से निष्क्रिय नियंत्रक के रूप में SPoF (विफलता का एक बिंदु) को समाप्त कर दिया था, लेकिन उन्होंने लगातार दूसरे के प्रतिस्थापन को स्थगित कर दिया, एक को विफल कर दिया। ठीक है, केवल तकनीकी विशेषज्ञ अधिक तकनीकी विवरण बताएंगे, इसलिए हम पूरी तरह से नए व्यवस्थापक के साथ कॉल करते हैं, जो तुरंत सितंबर की शुरुआत में काम पर रखा जाता है।

मैं सवाल पूछना शुरू करता हूं, कई और अधिक सटीक सवाल, समस्या को स्थानीय बनाने की कोशिश कर रहा है। मैं नए व्यवस्थापक + पेशेवरों के एक समूह में कुछ जवाब उद्धृत करता हूं: "अगस्त के अंत में या सितंबर की शुरुआत में प्रतिस्थापन के लिए पुराने मृत नियंत्रक" ... "वे दूसरे को नहीं बदलते थे, वे अपने प्रतिस्थापन के साथ कुछ काम करना चाहते थे - क्योंकि सिस्टम को बंद करना" ... "अब तक सब कुछ काम कर चुका है" ... "आतंकवादी और आलोचनाएँ चली गईं" ... "और यहाँ भंडारण प्रणाली समाप्त हो गई है" ... "नेटवर्क तक कोई पहुंच नहीं" ... "सभी सेवाएं गिर गईं" ... "रोशनी का हिस्सा बंद हैं" ... "पलक कहाँ नहीं है" आमतौर पर निमिष "..." मुझे समझ नहीं आता कि इसका क्या मतलब है।

कुछ मिनटों के बाद, मेरे सवालों के जवाब के लिए, एक तस्वीर दिखाई दी, लेकिन फिर पहला कवर हुआ। एक अन्य प्रश्न के लिए: क्या नियंत्रक सेटिंग्स की एक बैकअप प्रति है, मैंने अचानक पूरी चुप्पी सुनी। एक मिनट बाद, चित्र पूरा हो गया: प्रोई ने बदल दिया (शारीरिक रूप से पुराने को हटा दिया और उसकी जगह एक नया डाला, मैं बोली: महत्वपूर्ण त्रुटि गायब हो गई) एक नियंत्रक (एक जो पूरी तरह से मर गया था) भंडारण प्रणाली को बंद किए बिना। और वास्तव में, यह बात है! उसके बाद, उन्होंने उसके साथ और कुछ नहीं किया, कुछ नहीं !!! "प्रकाश चालू है, महत्वपूर्ण त्रुटि हो गई है।" उन्होंने भंडारण को बंद करने तक दूसरे (बमुश्किल रहने वाले नियंत्रक) के प्रतिस्थापन को छोड़ दिया, जो लगभग डेढ़ महीने (फिर से, कार्रवाई में दूसरा नियम) में देरी हुई। यहां मैंने पहले ही सोचने के लिए विराम मांगा (वास्तव में पचता है, क्योंकि मस्तिष्क ने बस यह विश्वास करने से इनकार कर दिया कि उन्होंने क्या सुना)।

मेरे होश में आने के बाद थोड़ा (शायद खामोशी का क्षण), मुझे अंततः एहसास हुआ: एक की मृत्यु हो गई, इसे एक खाली नए द्वारा बदल दिया गया, दूसरे ने अपना जीवन जीया (तीन महीने से अधिक समय तक अकेले गरीब साथी ने अपनी पूरी प्रणाली को एक मृत बैटरी के साथ खींच लिया और तुरंत एकल त्रुटियों से सुधारा)। सेटिंग्स की कोई प्रतिलिपि नहीं है, जहां लोग तुरंत सेटिंग्स को स्वयं प्राप्त नहीं कर सकते हैं, वे भौतिक रूप से रिमोट ("कुछ" इंटरनेट के साथ) नहीं दे सकते हैं, और मानव-घंटे खो गए हैं।

पहले मैंने यह पता लगाया कि इसे कैसे ठीक किया जाए, फिर मैंने नेटवर्क के बारे में स्पष्ट करना शुरू किया, क्या यह जल्दी से नेटवर्क मैप प्राप्त करना संभव है (नहीं, नहीं, लगभग कुछ भी नहीं)। अलग-अलग सेवाओं, भंडारण और नेटवर्क उपकरण (मैंने पूछा और कहा कि क्या करना है, इसके लिए अलग-अलग द्वार पर बिना किसी खटखट के कुछ मिनटों के बाद, उन्होंने मुझे जवाब दिया कि यह निकला, सब कुछ रिमोट के बिना होता है, क्योंकि "किसी कारण से इंटरनेट नहीं है।" प्रश्न और उत्तर मुझ तक पहुँचता है कि dhcp सर्वर आभासी हैं और वे इस स्टोरेज सिस्टम से शुरू होते हैं, आपके पास कहीं भी कोई स्टैटिक्स नहीं है और इसलिए हर जगह उपलब्ध नहीं है। यह दूसरा कवर था (मुझे लगता था कि नीचे जाने के लिए कहीं नहीं था, नियंत्रण बंदरगाहों ने बिना दस्तक दी। स्टैटिक्स बुराई हैं।) ठीक है, इस बार मैंने खुद को बहुत तेजी से पाया, मेरे सिर में कार्रवाई की एक मोटी योजना बनाई और अपने "सहयोगियों" को समझाया:कि आपको भंडारण प्रणाली के पास पैच कॉर्ड के साथ एक कंप्यूटर या लैपटॉप की आवश्यकता है और पास में हाथ। फिर हमें आवश्यकता है: नियंत्रक स्थापित करने के लिए निर्देश (यदि गुम / खो गया है, तो मुझे अभी मिल जाएगा और इसे भेजना होगा) और स्टोरेज सिस्टम ("टुकड़ा" = मूल नेटवर्क सेटिंग्स) के आसपास नेटवर्क मैप का "टुकड़ा"। जब यह सब तैयार हो गया था, तो हम मूल रूप से नए स्टोरेज कंट्रोलरों को कॉन्फ़िगर करते हैं, उन्हें निर्देश के अनुसार पैच कॉर्ड के साथ हमारे लैपटॉप से ​​सीधे कनेक्ट करते हैं, पाया गया नेटवर्क सेटिंग्स का उपयोग करते हुए, अपने डीएचसीपी को बढ़ाएं और पहले से ही लड़ाई में स्टोरेज कंट्रोलरों को कॉन्फ़िगर करें, प्रत्येक सिस्टम को उठाएं और इसे जांचें। आवश्यकतानुसार काम करता है। मुझे निर्देश मिलते हैं और भेजते हैं (वैसे, कॉर्पोरेट मेल भी काम नहीं करता है, क्योंकि यह इस SHD पर भी निर्भर करता है, इसलिए मैं व्यक्तिगत मेल का उपयोग करता हूं ...), इस समय तक पेशेवरों ने SHD के लिए कम से कम बुनियादी नेटवर्क सेटिंग्स (नियंत्रक और टी दोनों के आईपी पते) पाए हैं पी।)। पेशेवरों को अंततः समझ में आ गया कि क्या करना है,और उन्होंने कहा कि वह आगे का प्रबंधन करेंगे। मुझे याद है कि वह संपर्क में है और जाने दे रहा हूं। कुछ समय बाद, इस ग्राहक से "24/7" सेवा अर्जित की है।

मेरे लिए, पूरी घटना चार दर्जन मिनटों में फिट हुई, और एक तरफ मैं प्रसन्न था कि समस्या को तुरंत ऑनलाइन और फोन द्वारा हल करना संभव था, दूसरी तरफ मुझे बहुत आश्चर्य हुआ कि आप इस तरह के जीवन को कैसे प्राप्त कर सकते हैं। और इस आईटी कंपनी के ग्राहकों ने भी इस घटना की सराहना नहीं की, क्योंकि वादा सेवा 24/7 काम करने वाली थी और यह कार्य दिवस की शुरुआत थी (और समय क्षेत्र को देखते हुए, किसी के पास कार्य दिवस की ऊंचाई भी थी)।



यह अंत हो सकता है, लेकिन मेरे लिए केस का पूरा होना बग पर काम करना है। इसलिए, मेरे सहयोगियों और मैंने लिखने की कोशिश की: भविष्य में ऐसा होने से रोकने के लिए हमारे (और केवल हमारे) काम में क्या परिवर्तन नहीं किया जाना चाहिए।

यह मामला सिर्फ एक मुफ्त का काम निकला, हमने धन्यवाद भी नहीं दिया। यह स्पष्ट है, क्योंकि हमने देखा कि ग्राहक क्या चाहते हैं कि वे जल्दी से भूल जाएं और गवाहों को जंगल में दफन कर दें। लेकिन इस मामले ने भंडारण प्रणालियों और संबंधित प्रणालियों का उपयोग और रखरखाव करते समय प्रशासकों, इंजीनियरों और व्यवसाय द्वारा सामना की जाने वाली सबसे आम स्थितियों के लिए चीट शीट / टेम्प्लेट के हमारे संग्रह में जोड़ा। हालांकि कुछ के लिए, ये चीट शीट और निर्देश बहुत सरल या संकीर्ण भी लग सकते हैं। किसी भी स्थिति में, प्रत्येक प्रणाली के लिए, आपको इन चीट शीट / टेम्प्लेट में अपना डेटा दर्ज करने की आवश्यकता होती है (क्योंकि हर किसी का अपना परिदृश्य, सूचना और सेवाओं के लिए अपनी आवश्यकताएं इत्यादि हैं), अपनी स्वयं की योजनाएं बनाएं, अपने स्वयं के एल्गोरिदम विकसित करें।

अंत में, हम एक बैकअप नीति का एक उदाहरण देते हैं।


आपके सिस्टम के लिए बनाई गई एक समान धोखा शीट एक नौसिखिए और एक मास्टर दोनों को बहुत मदद कर सकती है। यहां तक ​​कि अगर मास्टर अपने सिर में सब कुछ रख सकता है, तो वह 24/7 काम अनुसूची के साथ बायोरोबोट नहीं है। और किसी भी मामले में, किसी भी उपकरण को इसके उचित उपयोग की आवश्यकता होती है।

और "और बिस्तर पर जाने वालों के लिए, एक अच्छी नींद है" हम अपनी कहानी खत्म करते हैं।