🧛🏼 🍃 😅 Rust और LLVM के साथ 100 बार सुपी, स्किकिट और पांडा को गति दें: डेवलपर वेल्ड के साथ साक्षात्कार 🏴󠁧󠁢󠁷󠁬󠁳󠁿 ↕️ 🔠

हेलो, हेब्र! मैं आपको "वेल्ड के मुख्य योगदानकर्ता के साथ साक्षात्कार: स्तब्ध, डरावना और पांडा के रूप में 100x के रूप में जंग और एलएलवीएम के साथ साक्षात्कार" का अनुवाद पेश करता हूं ।

पायथन और आर में डेटा विज्ञान उपकरणों के साथ कई हफ्तों तक काम करने के बाद, मुझे आश्चर्य हुआ कि क्या CUDA की तरह कोई मध्यवर्ती प्रतिनिधित्व (IR) है जिसे विभिन्न भाषाओं में उपयोग किया जा सकता है। प्रत्येक भाषा में समान तरीकों के कार्यान्वयन और अनुकूलन से बेहतर कुछ होना चाहिए। इसके अतिरिक्त, व्यक्तिगत रूप से प्रत्येक फ़ंक्शन के बजाय पूरे प्रोग्राम को ऑप्टिमाइज़ करने के लिए एक सामान्य रनटाइम होना अच्छा होगा।

कई दिनों तक विभिन्न परियोजनाओं पर शोध और परीक्षण करने के बाद, मुझे वेल्ड मिला(आप अकादमिक लेख पढ़ सकते हैं )।

मेरे आश्चर्य करने के लिए, लेखक वेल्ड में से एक मतेई ज़हरिया (मटेई ज़हरिया) हैं, जो स्पार्क के निर्माता हैं।

इसलिए, मैंने शौमिक पालकर , वेल्ड के मुख्य योगदानकर्ता से संपर्क किया , और उनका साक्षात्कार लिया। शोमिक स्टैनफोर्ड विश्वविद्यालय में कंप्यूटर विज्ञान विभाग में एक स्नातक छात्र हैं, जहां उन्होंने मैते ज़खारिया की सलाह पर प्रवेश किया।

वेल्ड अभी तक औद्योगिक उपयोग के लिए तैयार नहीं है, लेकिन बहुत आशाजनक है। यदि आप विशेष रूप से डेटा विज्ञान और जंग के भविष्य में रुचि रखते हैं, तो आपको यह साक्षात्कार पसंद आएगा।

मूल लेख के लेखक का विज्ञापन

«Not a Monad Tutorial», Weld . !

, mail@fcarrone.com @unbalancedparen.

वेल्ड के लिए क्या डिजाइन किया गया था, यह किन समस्याओं का समाधान करता है?

वेल्ड का लक्ष्य उन अनुप्रयोगों के लिए उत्पादकता बढ़ाना है जो उच्च-स्तरीय APIs जैसे कि NumPy और Pandas का उपयोग करते हैं। मुख्य समस्या जो वह हल करती है वह है क्रॉस-फ़ंक्शनल और क्रॉस-लाइब्रेरी ऑप्टिमाइज़ेशन जो अन्य पुस्तकालयों द्वारा आज प्रदान नहीं की गई है। विशेष रूप से, कई व्यापक रूप से उपयोग किए जाने वाले पुस्तकालयों में व्यक्तिगत कार्यों के लिए एल्गोरिदम के आधुनिक कार्यान्वयन हैं (उदाहरण के लिए, सी द्वारा पंडों में कार्यान्वित तेज एल्गोरिथ्म, या न्यूमपी में त्वरित मैट्रिक्स गुणन), लेकिन इन कार्यों के संयोजन के अनुकूलन की संभावना प्रदान नहीं करते हैं। उदाहरण के लिए, एकत्रीकरण के बाद मैट्रिक्स गुणन करते समय अनावश्यक मेमोरी स्कैन को रोकना।

वेल्ड एक सामान्य रनटाइम वातावरण प्रदान करता है जो पुस्तकालयों को एक सामान्य मध्यवर्ती प्रतिनिधित्व (IR) में कम्प्यूटेशन व्यक्त करने की अनुमति देता है। यह IR तब कंपाइलर ऑप्टिमाइज़र का उपयोग करके अनुकूलित किया जा सकता है, और फिर फ्लाई (JIT) पर समानांतर मशीन कोड में अनुकूलन के साथ संकलित किया जा सकता है जैसे कि लूप विलय, वेक्टराइज़ेशन आदि। वेल्ड का आईआर शुरू में समानांतर है, इसलिए इसमें व्यक्त किए गए कार्यक्रम हमेशा तुच्छ रूप से समानांतर किए जा सकते हैं।

हमारे पास स्प्लिट एनोटेशन नामक एक नई परियोजना भी है, जिसे वेल्ड के साथ एकीकृत किया जाएगा और मौजूदा पुस्तकालयों में इस तरह के अनुकूलन के शामिल होने की बाधा को कम करने के लिए डिज़ाइन किया जाएगा।

क्या सुन्न, पंडों और स्किकिट को अनुकूलित करना आसान नहीं होगा? कितना तेज है?

वेल्ड इन पुस्तकालयों में कार्यों के संयोजन का अनुकूलन प्रदान करता है, जबकि पुस्तकालयों का अनुकूलन केवल व्यक्तिगत कार्यों की कॉल को तेज कर सकता है। वास्तव में, इनमें से कई पुस्तकालय पहले से ही प्रत्येक व्यक्तिगत फ़ंक्शन के लिए बहुत अच्छी तरह से अनुकूलित हैं, लेकिन आधुनिक उपकरणों की सीमाओं के नीचे प्रदर्शन प्रदान करते हैं, क्योंकि वे समानता का उपयोग नहीं करते हैं या स्मृति पदानुक्रम का कुशलता से उपयोग नहीं करते हैं।

उदाहरण के लिए, निम्न-स्तरीय C भाषा में बहुआयामी सरणियों (ndarray) के लिए कई NumPy फ़ंक्शंस लागू किए जाते हैं, लेकिन प्रत्येक फ़ंक्शन के लिए कॉल के लिए इनपुट डेटा की पूरी स्कैन की आवश्यकता होती है। यदि ये सरणियाँ सीपीयू कैश में फिट नहीं होती हैं, तो निष्पादन के अधिकांश समय को गणना करने के बजाय मुख्य मेमोरी से डेटा लोड करने में खर्च किया जा सकता है। वेल्ड व्यक्तिगत फ़ंक्शन कॉल देख सकता है और अनुकूलन कर सकता है, जैसे कि लूप को संयोजित करना जो कैश या सीपीयू रजिस्टरों में डेटा संग्रहीत करेगा। इस तरह के अनुकूलन मल्टी कोर सिस्टम में परिमाण के एक आदेश से अधिक प्रदर्शन में सुधार कर सकते हैं, क्योंकि वे बेहतर स्केलेबिलिटी प्रदान करते हैं।

स्पार्क (शीर्ष बाएं), न्यूमपी (शीर्ष दाएं) और टेन्सरफ्लो (नीचे बाएं) के साथ वेल्ड प्रोटोटाइप के एकीकरण उपयोगकर्ता एप्लिकेशन कोड में बदलाव के बिना अपने स्वयं के बुनियादी ढांचे के कार्यान्वयन पर 30 गुना सुधार दिखाते हैं। पंडों और NumPy के क्रॉस-लाइब्रेरी ऑप्टिमाइज़ेशन (नीचे दाएं) परिमाण के दो आदेशों द्वारा प्रदर्शन में सुधार कर सकते हैं।

बालू क्या है?

बालू एक पुस्तकालय है जो वेल्ड के उपयोग से पंडास एपीआई के सबसेट को लागू करता है। यह राडु जीका, सीडब्ल्यूआई (सेंट्रम विस्कंडे एंड इंफॉर्मेटा, एम्स्टर्डम) में एक मास्टर द्वारा विकसित किया गया था। बालू का लक्ष्य पंडों के लिए उपरोक्त अनुकूलन प्रकारों को लागू करने के लिए एकल-थ्रेडेड प्रदर्शन में सुधार करना, स्मृति उपयोग को कम करना और संगामना सुनिश्चित करना है।

क्या वेल्ड / बालू डेटा को संसाधित करने के लिए बाह्य संचालन (जैसे, कहते हैं, Dask) का समर्थन करता है जो स्मृति में फिट नहीं होता है?

वेल्ड और बालू वर्तमान में बाहरी संचालन (आउट-ऑफ-कोर, बाहरी मेमोरी) का समर्थन नहीं करते हैं, हालांकि हम इस दिशा में ओपनसोर्स-विकास प्राप्त करने में प्रसन्न होंगे!

वेल्ड को लागू करने के लिए आपने रुस्ट और एलएलवीएम को क्यों चुना? क्या आप तुरंत रुस्तम में आए?

हमने जंग को चुना क्योंकि:

इसका न्यूनतम रनटाइम है (वास्तव में, यह केवल सरणियों की सीमाओं की जांच करता है) और अन्य भाषाओं जैसे जावा और पायथन में एम्बेड करना आसान है
इसमें कार्यात्मक प्रोग्रामिंग प्रतिमान शामिल हैं, जैसे कि पैटर्न मिलान, जो लेखन कोड को आसान बनाते हैं, उदाहरण के लिए, पैटर्न मिलान संयोजक का अनुकूलन करने के लिए
( Rust crates), .

हमने एलएलवीएम को चुना क्योंकि यह एक खुला स्रोत संकलन ढांचा है जिसका व्यापक रूप से उपयोग और समर्थन किया जाता है। हम C / C ++ के बजाय सीधे LLVM उत्पन्न करते हैं, इसलिए हमें C कंपाइलर की आवश्यकता नहीं है। यह संकलन समय को भी कम कर देता है, क्योंकि हम C / C ++ कोड को पार्स नहीं करते हैं।

रस्ट पहली भाषा नहीं थी जिसमें वेल्ड को लागू किया गया था। पहला कार्यान्वयन स्काला पर था, जिसे इसके बीजीय डेटा प्रकारों और पैटर्न मिलान के रूप में इस तरह के एक शक्तिशाली विशेषता की उपस्थिति के कारण चुना गया था। इसने ऑप्टिमाइज़र के लेखन को सरल बनाया, जो कंपाइलर का मुख्य हिस्सा है। हमारा मूल ऑप्टिमाइज़र उत्प्रेरक की तरह बनाया गया था, स्पार्क एसक्यूएल में एक एक्स्टेंसिबल ऑप्टिमाइज़र।

हम स्काला से दूर चले गए क्योंकि जेवीएम-आधारित भाषा को अन्य रनटाइम और भाषाओं में एम्बेड करना बहुत मुश्किल था।

Weld CPU GPU, RAPIDS, data science Python GPU?

वेल्ड और सिस्टम जैसे RAPIDS के बीच मुख्य अंतर यह है कि इसका उद्देश्य विभिन्न कर्नल्स (CUDA शब्दों में फ़ंक्शन) को मक्खी पर संकलित करके अनुकूलन करना है, न कि व्यक्तिगत कार्यों के कार्यान्वयन का अनुकूलन करना। उदाहरण के लिए, वेल्ड जीपीयू बैकएंड अलग-अलग कर्नेल को लागू करने के बजाय, एक एकल CUDA कर्नेल को अंतिम अनुप्रयोग के लिए अनुकूलित करेगा।

इसके अलावा, वेल्ड आईआर हार्डवेयर स्वतंत्र है, जो इसे GPU और CPU दोनों के साथ-साथ वेक्टर प्रोसेसर जैसे गैर-मानक उपकरण के लिए उपयोग करने की अनुमति देता है।
बेशक, वेल्ड अनिवार्य रूप से RAPIDS सहित उसी क्षेत्र में अन्य परियोजनाओं के साथ प्रतिच्छेदन करता है, और उनके प्रभाव में बनाया जाता है।

Bohrium (NumPy में आलसी कंप्यूटिंग को लागू करता है) और Numba (पायथन लाइब्रेरी, JIT कोड कंपाइलर) जैसे रनटाइम वातावरण Weld के उच्च-स्तरीय लक्ष्यों को साझा करते हैं। और स्पार्क एसक्यूएल जैसे ऑप्टिमाइज़र सिस्टम सीधे वेल्ड डिजाइन को प्रभावित करते हैं।

क्या Weld के पास डेटा साइंस लाइब्रेरी ऑप्टिमाइज़ेशन के अलावा अन्य उपयोग हैं?

वेल्ड आईआर का सबसे रोमांचक पहलुओं में से एक यह है कि यह मूल रूप से डेटा संगणना का समर्थन करता है। इसका मतलब यह है कि वेल्ड आईआर में लूप समानांतरीकरण हमेशा सुरक्षित है। यह नए प्रकार के उपकरणों के लिए वेल्ड आईआर को आकर्षक बनाता है।

उदाहरण के लिए, NEC के कर्मचारियों ने कस्टम हाई-बैंडविड्थ वेक्टर प्रोसेसर पर पायथन वर्कलोड चलाने के लिए वेल्ड का उपयोग किया, बस मौजूदा वेल्ड आईआर में एक नया बैकएंड जोड़ दिया।

IR का उपयोग किसी डेटाबेस में भौतिक संचालन की एक परत को लागू करने के लिए भी किया जा सकता है। और हम उन विशेषताओं को जोड़ने की योजना बनाते हैं जो हमें पायल कोड में पायथन के सबसेट को संकलित करने की भी अनुमति देगा।

क्या पुस्तकालय वास्तविक परियोजनाओं में उपयोग के लिए तैयार हैं? और यदि नहीं, तो आप एक समाप्त परिणाम की उम्मीद कब कर सकते हैं?

कई उदाहरण और बेंचमार्क जिन पर हमने इन पुस्तकालयों का परीक्षण किया, उन्हें वास्तविक कार्यभार से लिया गया है। इसलिए, हम वास्तव में उपयोगकर्ताओं को उनके अनुप्रयोगों में वर्तमान संस्करण का प्रयास करना चाहेंगे, और अपनी प्रतिक्रिया छोड़ देंगे। और, सबसे अच्छा, उन्होंने अपने स्वयं के पैच का प्रस्ताव दिया।

सामान्य तौर पर, इस समय यह नहीं कहा जा सकता है कि वास्तविक अनुप्रयोगों में सब कुछ बॉक्स से बाहर काम करेगा।

अगले कुछ महीनों में हमारी अगली रिलीज़ें विशेष रूप से पायथन पुस्तकालयों की उपयोगिता और विश्वसनीयता पर केंद्रित होंगी। हमारा लक्ष्य पुस्तकालयों को वास्तविक परियोजनाओं में शामिल करने के लिए पर्याप्त बनाना है। और उन जगहों पर गैर-वेल्ड लाइब्रेरी संस्करणों का उपयोग करने की क्षमता भी है जहां समर्थन अभी तक नहीं जोड़ा गया है।

जैसा कि मैंने पहले प्रश्न में उल्लेख किया है, स्प्लिट एनोटेशन प्रोजेक्ट ( स्रोत कोड और अकादमिक लेख ) को इस संक्रमण को सरल बनाना चाहिए।

स्प्लिट एनोटेशन एक प्रणाली है जो आपको मौजूदा कोड में एनोटेशन को जोड़ने के लिए यह निर्धारित करने की अनुमति देती है कि इसे कैसे विभाजित, बदलना और समानांतर करना है। यह अनुकूलन प्रदान करता है जिसे हम वेल्ड (संपूर्ण डेटा सेट को स्कैन करने के बजाय फ़ंक्शन कॉल के बीच सीपीयू कैश में डेटा चंक्स संग्रहीत करना) में सबसे प्रभावी मानते हैं। लेकिन स्प्लिट एनोटेशन वेल्ड की तुलना में एकीकृत करना बहुत आसान है, क्योंकि वे आईआर कंपाइलर पर भरोसा किए बिना मौजूदा लाइब्रेरी कोड का उपयोग करते हैं। यह रखरखाव और डिबगिंग की सुविधा भी देता है, जो बदले में विश्वसनीयता में सुधार करता है।

वे लाइब्रेरी जिनके पास अभी तक पूर्ण वेल्ड समर्थन नहीं है, स्प्लिट एनोटेशन का उपयोग कर सकते हैं। यह हमें नए अनुकूलन को शामिल करते हुए उपयोगकर्ता प्रतिक्रिया के आधार पर धीरे-धीरे वेल्ड समर्थन जोड़ने की अनुमति देगा।