फेसबुक सेवाओं की विश्वसनीयता पर इनसाइड लुक

उत्पादन इंजीनियर

2009. एसआरई

2010. SRO और AppOps

2012. उत्पादन इंजीनियर

2014. समापन SRO

• हम हमेशा टीमों में बने होते हैं । हमारे पास सामान्य रूप से SRE खोज नहीं है, जैसे Google में, यह प्रत्येक खोज सेवा के लिए अलग से है।
• हम उत्पादों में नहीं हैं , केवल बुनियादी ढांचे में उत्पाद ही प्रबंधन करता है।
• हम डेवलपर्स के साथ एक साथ oncall कर रहे हैं ।
• हमारे पास सिस्टम और नेटवर्क में थोड़ा अधिक अनुभव है, इसलिए हम सेवाओं की निगरानी और बुझाने पर ध्यान केंद्रित करते हैं जब वे उज्ज्वल रूप से जलते हैं। हम पहले से त्रुटियों को ठीक करते हैं जो शुरुआत से ही नई सेवाओं के आर्किटेक्चर को क्रैश और प्रभावित कर सकते हैं, ताकि बाद में वे उत्पादन में सुचारू रूप से काम करें।

निगरानी

ऊपर

ATOP सुंदर है, हम इसका लगातार उपयोग करते हैं।

मलोक HTTP

Thrift message
HTTP/1.1 400
"HTTP" == 0x48545450

malloc("HTTP")
pid = fork(); // errno = ENOMEM

malloc("HTTP")
pid = fork(); // errno = ENOMEM

// 0: heuristic overcommit
vm.overcommit_memory = 0

FB303

Service FacebookService {
    map<string, i64> getCounters()
}

incrementCounter(string& key);

setCounter(string& key, int64_t value);

observability

एक प्रकार का वृक्ष

• एक तालिका जो बाइनरी फ़ाइलों के संस्करणों को दिखाती है, पैकेज करती है, सभी लाखों मशीनों पर कितनी मेमोरी खाई जाती है। प्रत्येक मेजबान पर, एक पीएस एक घंटे में एक बार बनाया जाता है और स्कूबा को भेजा जाता है।
• सभी dmesg, सभी मेमोरी डंप, अन्य तालिकाओं में भेजे जाते हैं। हम प्रत्येक मशीन पर हर 10 मिनट में एक बार परफ़ॉर्म करते हैं, इसलिए हमें पता है कि कर्नेल पर हमारे पास कौन से स्टैक के निशान हैं और वैश्विक सीपीयू क्या लोड कर सकता है।

PHP डीबग करें

डैशबोर्ड

यह काम किस प्रकार करता है

जब फेसबुक बिछाया

हादसा प्रबंधक पोर्टल

निवारण

• सामान्य लोड के तहत, अनुरोध आता है, संसाधित किया जाता है और क्लाइंट को वापस कर दिया जाता है।
• उच्च भार के साथ, अनुरोध कतार में प्रतीक्षा कर रहे हैं क्योंकि प्रसंस्करण अनुरोधों के लिए सभी थ्रेड व्यस्त हैं। देरी बढ़ रही है, लेकिन अभी तक सब कुछ ठीक है।
• लाइन बढ़ रही है, लोड बढ़ रहा है। कुछ बिंदु पर, सर्वर पर क्लाइंट द्वारा निष्पादित सब कुछ एक प्रतिक्रिया टाइमआउट के साथ समाप्त होता है, और क्लाइंट एक त्रुटि के साथ बाहर आता है। इस बिंदु पर, सर्वर का परिणाम केवल दूर फेंक दिया जा सकता है।

उपकरण

• सिस्टम में एकीकृत क्यूबिज्म ।
• एफबीएआर एक "वर्कहॉर्स" है जो आता है और मरम्मत करता है, इसलिए कोई भी एक टूटी हुई कार की चिंता नहीं करता है। यह FBAR का मुख्य कार्य है, लेकिन अब इसके और भी कार्य हैं।
• Coredumper , जिसे हमने दो सहयोगियों के साथ लिखा था । यह सभी मशीनों पर कोरपंपों की निगरानी करता है और उन्हें मेजबान की सभी सूचनाओं के साथ स्टैक के निशान के साथ एक स्थान पर छोड़ देता है: जहां यह झूठ है, वहां किस आकार का पता लगाएं। लेकिन सबसे महत्वपूर्ण बात, स्टैक के निशान मुफ्त में चलते हैं, बीपीएफ कार्यक्रमों का उपयोग करके जीडीबी शुरू करने के बिना।

पोल

"सिस्टम सॉफ़्टवेयर की प्राथमिक ज़िम्मेदारी लगातार चलती रहना चाहिए। सेवा प्रदान करना निरंतर संचालन के लाभकारी दुष्प्रभाव के रूप में देखा जाना चाहिए »

• "क्या होता है अगर आपके सिस्टम को लोड का 10% मिलता है?" जब लोग सोचते हैं: "लेकिन वास्तव में, क्या?" - अंतर्दृष्टि दिखाई देते हैं, और कई भी अपने सिस्टम पर शासन करते हैं। पहले, उन्होंने इसके बारे में नहीं सोचा था, लेकिन सवाल के बाद एक कारण है।
• "आपकी सेवा के साथ समस्याओं को नोटिस करने वाला पहला व्यक्ति कौन है - आप या आपके उपयोगकर्ता?" ऐसा होने पर डेवलपर्स याद करना शुरू करते हैं और: "... शायद आपको अलर्ट जोड़ने की आवश्यकता है।"
• "आपका सबसे बड़ा ऑन्कल दर्द क्या है?" यह डेवलपर्स के लिए असामान्य है, खासकर नए लोगों के लिए। वे तुरंत कहते हैं: “हमारे पास कई अलर्ट हैं! आइए हम उन्हें साफ करें और उन लोगों को हटा दें जो मामला नहीं है। ”
• "आपकी रिलीज़ कितनी बार होती है?" पहले उन्हें याद है कि वे इसे अपने हाथों से जारी कर रहे हैं, और फिर उनकी अपनी कस्टम तैनाती है।

6-7 Saint HighLoad++, . (, , ).
telegram- . !