👨‍🎨 🈹 🖋️ एक अजगर के लिए मैक्रोज़। यैंडेक्स रिपोर्ट 👩🏻‍⚕️ 🤷🏼 👰🏽

मैं पायथन सिंटैक्स का विस्तार कैसे कर सकता हूं और इसमें आवश्यक विशेषताएं जोड़ सकता हूं? PyCon में पिछली गर्मियों में मैंने इस विषय को बनाने की कोशिश की थी। रिपोर्ट से आप यह पता लगा सकते हैं कि कैसे pytest, macropy, pattern पुस्तकालयों की व्यवस्था की जाती है और वे इस तरह के दिलचस्प परिणाम कैसे प्राप्त करते हैं। अंत में पायथन के शीर्ष पर चलने वाली एक लिस्प जैसी भाषा, HyLang में मैक्रोज़ का उपयोग करके कोड पीढ़ी का एक उदाहरण है।

- हाय दोस्तों। सबसे पहले, मैं PyCon के आयोजकों को धन्यवाद देना चाहता हूं। मैं यैंडेक्स में एक डेवलपर हूं। रिपोर्ट काम के बारे में नहीं होगी, बल्कि प्रायोगिक चीजों के बारे में होगी। शायद वे आप में से एक को इस विचार की ओर ले जाएंगे कि पायथन में आप ऐसी ठंडी चीजें कर सकते हैं, जिनके बारे में आप पहले भी नहीं जानते थे, इस दिशा में नहीं सोचते थे।

उन लोगों के लिए थोड़ा जो मैक्रोज़ के बारे में नहीं जानते हैं: यह कोड पीढ़ी का ऐसा तरीका है जब भाषा में एक अभिव्यक्ति को और अधिक जटिल कोड में विस्तारित किया जाता है। आपके लिए क्या अच्छाई हैं? आपके लिए, मैक्रो रिकॉर्ड संक्षिप्त है, यह कुछ अमूर्तता व्यक्त करता है, लेकिन यह आपके लिए हुड के तहत बहुत काम करता है, और आपको यह सब कोड अपने हाथों से लिखने की आवश्यकता नहीं है।

pytest

सबसे अधिक संभावना है, आप एक पाइस्टेस्ट टेस्ट फ्रेमवर्क में आए थे, कई यहां लगभग निश्चित रूप से इसका उपयोग करते हैं। मुझे नहीं पता कि आपने कभी देखा है, लेकिन हुड के तहत वह कुछ जादू भी करता है।

उदाहरण के लिए, आपके पास इतनी सरल परीक्षा है। यदि आप इसे बिना पिएस्ट के चलाते हैं, तो यह केवल एक जोर लगाएगा।

दुर्भाग्य से, मेरा उदाहरण थोड़ा पतित है, और यहां यह तुरंत स्पष्ट है कि लेन को तीन तत्वों की सूची से लिया गया है। लेकिन अगर कुछ फ़ंक्शन को कॉल किया गया था, तो आप कभी भी इस तरह के एश्योरेंस से नहीं जानते होंगे कि फ़ंक्शन वापस आ गया है। वह बस कुछ ऐसा लौटा जो सौ के बराबर नहीं है।

हालांकि, अगर इसे पाइस्टेस्ट के तहत चलाया जाता है, तो यह अतिरिक्त डिबगिंग जानकारी प्रदर्शित करेगा। वह इसे अंदर कैसे करता है?

यह जादू बहुत सरलता से काम करता है। Pytest अपनी विशेष हुक बनाता है जो परीक्षण के भार के साथ मॉड्यूल को निकालता है। उसके बाद, पाइस्टेस्ट स्वतंत्र रूप से इस पायथन फाइल को पार्स करता है, और पार्सिंग के परिणामस्वरूप, इसका मध्यवर्ती प्रतिनिधित्व प्राप्त होता है, जिसे एएसटी ट्री कहा जाता है। एएसटी पेड़ एक बुनियादी अवधारणा है जो आपको मक्खी पर पायथन कोड को बदलने की अनुमति देता है।

इस तरह के पेड़ को प्राप्त करने के बाद, पाइस्टेस्ट उस पर एक परिवर्तन लागू करता है जो सभी अभिव्यक्तियों को मुखर कहा जाता है। वह उन्हें एक निश्चित तरीके से बदलता है, वह परिणामी नए एएसटी पेड़ को संकलित करता है, और उसे परीक्षणों के साथ एक मॉड्यूल मिलता है, जो तब एक नियमित पायथन वर्चुअल मशीन पर चलता है।

यह मूल एएसटी का पेड़ है जिसे पाइस्टेस्ट में नहीं बदला जाता है। लाल क्षेत्र पर प्रकाश डाला गया हमारा मुखर है। यदि आप बारीकी से देखते हैं, तो आप इसके बाएं और दाएं भागों को देखेंगे, सूची स्वयं।

जब पाइस्टेस्ट इसे परिवर्तित करता है और एक नया वर्ष उत्पन्न करता है, तो पेड़ इस तरह दिखना शुरू हो जाता है।

कोड की लगभग सौ पंक्तियाँ हैं जो आपके लिए सबसे अधिक उत्पन्न होती हैं।

यदि आप इस AST पेड़ को वापस अजगर में परिवर्तित करते हैं, तो यह कुछ इस तरह दिखेगा। यहां लाल रंग में हाइलाइट किए गए क्षेत्र हैं, जहां पाइस्टेस्ट अभिव्यक्ति के बाएं और दाएं हिस्सों की गणना करता है, एक त्रुटि संदेश उत्पन्न करता है, और इस त्रुटि संदेश के साथ कुछ गलत हो जाने पर एक जोर देता है।

पैटर्न मिलान

ऐसे काम से आप और क्या कर सकते हैं? आप किसी भी पायथन कोड को परिवर्तित कर सकते हैं। और एक अद्भुत पुस्तकालय है जो मुझे PyPI पर दुर्घटना से काफी मिला, वहां खुदाई करना दिलचस्प है। वह पैटर्न मैचिंग करती है।

शायद यह कोड किसी से परिचित हो। वह फैक्टरियल को पुनरावर्ती मानता है। आइए देखें कि पैटर्न मिलान का उपयोग करके इसे कैसे रिकॉर्ड किया जा सकता है।

ऐसा करने के लिए, फ़ंक्शन पर बस डेकोरेटर लटकाएं। कृपया ध्यान दें: शरीर के अंदर, फ़ंक्शन पहले से ही अलग तरह से काम करता है। इनमें से प्रत्येक ifs पैटर्न मिलान के लिए एक नियम है, जो फ़ंक्शन के लिए इनपुट के रूप में अभिव्यक्ति को पार्स करता है और किसी तरह इसे बदल देता है। इसके अलावा, परिणाम के स्पष्ट रिटर्न भी नहीं हैं। क्योंकि पैटर्न लाइब्रेरी, जब यह फ़ंक्शन बॉडी को रूपांतरित करता है, तो सबसे पहले, यह जाँचता है कि इसमें केवल यदि है, और दूसरी बात, यह परिणाम के निहित रिटर्न को जोड़ता है, इस प्रकार भाषा के शब्दार्थ को बदलता है। यही है, वह एक नया डीएसएल बनाता है, जो थोड़ा अलग तरीके से काम करता है। और इसके लिए धन्यवाद, आप कुछ चीजें घोषित रूप से लिख सकते हैं।

पिछला फ़ंक्शन ऐसा है जैसे तीन लाइनों में लिखा गया है।

और बाकी पंक्तियाँ अतिरिक्त कार्यक्षमता जोड़ती हैं, जो उदाहरण के लिए, मानों की एक सूची से फैक्टरियल पढ़ना या एक मनमाना फ़ंक्शन के माध्यम से इसे पारित करने की अनुमति देता है।

अपने आप को रूपांतरण कैसे लिखें? macropy!

अब आप शायद सोच रहे हैं, लेकिन आप इसे कैसे लागू कर सकते हैं? क्योंकि यह करने के लिए थकाऊ है, जैसे कि पाइस्टेस्ट: मैन्युअल रूप से फाइलों को पार्स करें, उस कोड की तलाश करें जिसे परिवर्तित करने की आवश्यकता है। पाइस्टेस्ट में, यह एक अलग मॉड्यूल द्वारा एक हजार या अधिक लाइनों के लिए किया जाता है।

अपने दम पर ऐसा नहीं करने के लिए, कुछ स्मार्ट लोग पहले से ही हमारे लिए एक मॉड्यूल के साथ आए हैं जिसे मैक्रोपी कहा जाता है।

मॉड्यूल का यह संस्करण दूसरे पायथन और तीसरे दोनों के लिए है। उन्होंने इसे दूसरे पायथन के समय में लिखा। तब लोगों को यह जानने के लिए एक मजाक था कि पायथन के साथ क्या किया जा सकता है, और पुस्तकालय में विभिन्न उदाहरण शामिल हैं। आइए उन्हें देखें, वे आपको इस तकनीक के साथ क्या कर सकते हैं, इसका अंदाजा लगा सकते हैं। ट्यूटोरियल में वर्णित पहली शांत चीज वह एक मैक्रो है जो दूसरे पायथन के लिए स्ट्रिंग को प्रारूपित करता है, जैसा कि तीसरे में है।

लाल रंग में हाइलाइट की गई अभिव्यक्ति मैक्रो कॉल का सिंटैक्स है। S अक्षर मैक्रो का नाम है, और फिर वर्गाकार कोष्ठक में वह अभिव्यक्ति है जो इसे रूपांतरित करता है। परिणामस्वरूप, चर को यहां प्रतिस्थापित किया जाता है। यह दूसरे पायथन में काम करता है, लेकिन तीसरे को इस तरह के मैक्रो की जरूरत नहीं है। इस प्रकार, उदाहरण के लिए, आप अपना खुद का मैक्रो बना सकते हैं, जो अधिक जटिल शब्दार्थों को लागू करता है और मानक प्रारूप तार की तुलना में अधिक मजेदार चीजें करता है।

जब एक मैक्रो का विस्तार होता है, और यह मॉड्यूल लोड करने के समय होता है, तो यह बस उस कोड में परिवर्तित हो जाता है। प्लेसहोल्डर को प्रारूप स्ट्रिंग में डाला जाता है और प्रतिस्थापन प्रक्रिया उस पर लागू होती है। आगे पायथन पहले से ही एक मानक तरीके से यह सब संकलित करता है। रनटाइम में, कोई मैक्रो विस्तार नहीं होता है। मॉड्यूल लोड होने पर वे सभी होते हैं। इसलिए, ऐसी चीज़ पर, आप अनुकूलन या गणना भी कर सकते हैं जो मॉड्यूल लोड करने के समय होगी और एक अधिक इष्टतम बायोटेक उत्पन्न करेगा।

दूसरा उदाहरण भी दिलचस्प है। यह लंबोदर लेखन के लिए एक संक्षिप्त अंकन है। मैक्रो एफ तर्कों की एक श्रृंखला लेता है और इसके बजाय एक फ़ंक्शन देता है। प्रत्येक अभिव्यक्ति मैक्रो नाम "f" से शुरू होती है, कोष्ठक, और फिर बिल्कुल किसी भी अभिव्यक्ति को एक लैम्ब्डा में परिवर्तित किया जाता है।

मेरी राय में, यह भी अच्छा है, खासकर उन लोगों के लिए जो एक कार्यात्मक शैली में कोड विकसित करना और लिखना पसंद करते हैं और MapReduce का उपयोग करते हैं।

यहाँ एक और परिचित उदाहरण है। यह फ़ंक्शन फैक्टरियल मानता है, कोड को लाल रंग में हाइलाइट किया गया है। जब उसे बुलाया जाएगा तब क्या होगा?

यह पायथन में एक त्रुटि फेंक देगा, क्योंकि यह स्टैक सीमा में चलेगा और इस तरह के एक बदसूरत पुनरावर्तन होगा।

इसे कैसे सुधारा जा सकता है? मैक्रोपी का उपयोग करना, समस्या को ठीक करना बहुत सरल है।

आप डेकोरेटर को लटकाते हैं, यह फ़ंक्शन का शरीर लेता है और इसे कुछ जादुई तरीके से बदल देता है। आपको फ़ंक्शन में कुछ भी बदलने की आवश्यकता नहीं है, मैक्रोपी आपके लिए सब कुछ करेगा।

और समारोह अपने आप में एक सामान्य परिणाम पर वापस आ जाएगा, भूमिगत तक जा रहा है।

मैक्रोपी कैसे करता है?

यह फ़ंक्शन के लिए सभी कॉल को एक विशेष टेलकॉल ऑब्जेक्ट के साथ बदल देता है, जिसे तब TCO डेकोरेटर द्वारा लूप में बुलाया जाता है।

सर्किट कुछ इस तरह दिखता है। लूप में डेकोरेटर तब तक फ़ंक्शन को कॉल करता है जब तक कि वह टेलकॉल के बजाय कुछ सामान्य परिणाम नहीं देता। और अगर वह लौटती है, तो उसे लौटा देती है। और बस यही। इन ठंडी चीजों को मैक्रोज़ के साथ किया जा सकता है!

मैक्रोपी में अन्य उदाहरण भी शामिल हैं। मैं आशा करता हूं कि जो लोग आपसे जिज्ञासु हैं, वे स्वयं जाकर उन्हें देखें। मान लीजिए कि डिबगिंग के लिए उपयोगी चीजें हैं।

मैं आपको एक और अच्छी बात बताता हूँ। एक उदाहरण यह क्वेरी मैक्रो है। वह क्या कर रहा है? इसके अंदर, आप नियमित पायथन कोड लिखते हैं, जिसे आप इस अभिव्यक्ति को निष्पादित करने के नियमित परिणाम के रूप में उपयोग कर सकते हैं। लेकिन अंदर, मैक्रोपी इस कोड को बदल देता है और इसे अल्केमी SQL क्वेरी भाषा कोड में बनाता है।

वह आपके लिए इसे फिर से लिखता है, यह भयानक अभिव्यक्ति करता है। इसे फिर से हाथ से लिखा जा सकता है, फिर इसे छोटा किया जाएगा। मैंने यह किया।

यहाँ मूल अभिव्यक्ति है। मैक्रो का विस्तार करने के बाद, यह कुछ इस तरह से लेता है।

शायद कोई पायथन के समान कोड लिखने में रुचि रखता है, और अपने डेवलपर्स को DSL SQL कीमिया पर प्रश्न लिखने के लिए मजबूर नहीं करता है।

उसी तरह, आप पायथन - शुद्ध एसक्यूएल, जावास्क्रिप्ट - से कुछ भी उत्पन्न कर सकते हैं और इसे फ़ाइल के बगल में कहीं भी सहेज सकते हैं, और फिर इसे फ्रंटेंड पर उपयोग कर सकते हैं।

अब देखते हैं कि अपना खुद का मैक्रो कैसे बनाया जाए। मैक्रोपी के साथ, यह बहुत सरल है।

एक मैक्रो एक फ़ंक्शन है जो इनपुट पर एक एएसटी पेड़ लेता है और, किसी तरह इसे बदलकर, एक नया रिटर्न देता है। यहाँ एक स्थूल उदाहरण है जो स्रोत अभिव्यक्ति वाले एस्टर कॉल के लिए एक विवरण जोड़ता है ताकि हम यह समझ सकें कि एसेरियोरियन त्रुटि क्यों हुई।

यहाँ, आंतरिक रिप्लेसेन्ट_ऐसर्ट फ़ंक्शन सहायक है। वह आपके लिए एक पेड़ में एक पुनरावर्ती वंश करता है। प्रतिस्थापन_पास के अंदर, सबट्री तत्व पारित हो गया है।

इसके कारण, आप इसके प्रकार की जांच कर सकते हैं और? यदि यह एक जोरदार कॉल है, तो इसके साथ कुछ करें। यहां मैं एक सरल सिंथेटिक उदाहरण दूंगा जो बाएं भाग, दाएं भाग को लेता है, उनसे एक त्रुटि संदेश बनाता है, और msg विशेषता के लिए सब कुछ लिखता है। यह संदेश है जिसे वापस करने की आवश्यकता होगी।

इसका उपयोग करते समय, आप संदर्भ प्रबंधक के साथ कोड का एक ब्लॉक करने के लिए इस तरह के मैक्रो को संलग्न करते हैं, और संदर्भ प्रबंधक के अंदर होने वाले सभी कोड इस परिवर्तन से गुजरते हैं। यह नीचे देखा गया है कि हमारे त्रुटि संदेश को एसेरियन एरर में जोड़ा गया था, जिसे हमने लेन एक्सप्रेशन ([1, 2, 3]) से बनाया था।

हालांकि, इस पद्धति में एक सीमा है जो मुझे व्यक्तिगत रूप से दुखी करती है। मैंने नए डिजाइन बनाने के लिए एक प्रयोग के रूप में कोशिश की जो भाषा में काम करेगा। उदाहरण के लिए, कुछ लोग स्विच या सशर्त निर्माण पसंद करते हैं, जब तक कि वे पसंद न करें। लेकिन दुर्भाग्य से, यह संभव नहीं है: मैक्रोपी और एएसटी पेड़ के साथ काम करने वाले किसी भी अन्य उपकरण का उपयोग तब किया जाता है जब स्रोत कोड पहले से ही पढ़ा जाता है और टोकन में टूट जाता है। कोड पायथन पार्सर द्वारा पढ़ा जाता है, जिसका व्याकरण दुभाषिया में तय होता है। इसे बदलने के लिए, आपको पायथन को फिर से जोड़ने की आवश्यकता है। बेशक, आप ऐसा कर सकते हैं, लेकिन यह पहले से ही पायथन का एक कांटा होगा, न कि एक पुस्तकालय जिसे PyPI पर रखा जा सकता है। इसलिए, मैक्रोपी का उपयोग करके ऐसे निर्माण करना असंभव है।

HyLang

सौभाग्य से, अपने लंबे जीवन के लिए मैंने न केवल पायथन में लिखा था और विभिन्न अन्य वैकल्पिक भाषाओं में दिलचस्पी थी। एक वाक्यविन्यास है जो कई नापसंद है, लेकिन अधिक सरल और लचीला है। ये एस-एक्सप्रेशन हैं।

हमारे लिए सौभाग्य की बात है कि हायलैंग नामक एक पायथन ऐड-इन है। यह बात कुछ हद तक क्लीजुर की याद दिलाती है, केवल क्लीवेज जेवीएम के ऊपर चलती है, और हायलांग पायथन वर्चुअल मशीन के शीर्ष पर चलता है। यही है, यह आपको कोड लिखने के लिए नया सिंटैक्स प्रदान करता है। लेकिन एक ही समय में, आपके द्वारा लिखे गए सभी कोड मौजूदा पायथन पुस्तकालयों के साथ पूरी तरह से संगत होंगे, और इसका उपयोग पायथन पुस्तकालयों से किया जा सकता है।

यह कुछ इस तरह दिखता है।

पायथन में बाईं ओर लिखा हुआ भाग, दाईं ओर - हाइलांग पर। और नीचे से उन दोनों के लिए एक बाइटकोड है, जो परिणाम है। आपने शायद ध्यान दिया कि यह बिल्कुल वैसा ही है, केवल सिंटैक्स बदलता है। HyLang एस-एक्सप्रेशन, जो कई को पसंद नहीं है। "कोष्ठक" के विरोधियों को यह समझ में नहीं आता है कि इस तरह के वाक्यविन्यास से भाषा को जबरदस्त शक्ति मिलती है क्योंकि यह भाषा के निर्माण को एकरूपता प्रदान करती है। और एकरूपता आपको किसी भी डिज़ाइन को लागू करने के लिए मैक्रोज़ का उपयोग करने की अनुमति देती है।

यह इस तथ्य के कारण हासिल किया जाता है कि प्रत्येक अभिव्यक्ति के अंदर पहला तत्व हमेशा किसी न किसी तरह की कार्रवाई होती है। और फिर उसके तर्क चलते हैं।

और सभी कोड नेस्टेड अभिव्यक्तियों से बने होते हैं जो कि मैक्रोज़ को परिवर्तित करने और खोलने में आसान होते हैं। इसके कारण, HyLang में बिल्कुल कोई भी निर्माण किया जा सकता है, नया, किसी भी तरह से कोड में मानक भाषा सुविधाओं से अप्रभेद्य नहीं है।

आइए देखें कि HyLang पर एक साधारण मैक्रो कैसे काम करता है। एक ही काम करने के लिए जो हमने अक्रूर के साथ मैक्रोपी का उपयोग करके किया था, आपको केवल इस कोड की आवश्यकता है।

हमारा HyLang मैक्रो इनपुट प्राप्त करता है, जो कोड है। इसके अलावा, एक मैक्रो आसानी से नए कोड बनाने के लिए इस कोड के किसी भी हिस्से का उपयोग कर सकता है। मैक्रोज़ और फ़ंक्शंस के बीच मुख्य अंतर: भाव इनपुट हैं, मूल्य नहीं। यदि हम अपने मैक्रो को ((= 1 2)) कहते हैं, तो उसे गलत के बजाय एक अभिव्यक्ति (= 1 2) प्राप्त होगी।

तो हम एक त्रुटि संदेश उत्पन्न कर सकते हैं कि कुछ गलत हुआ।

और फिर नया कोड वापस करें। इस बैकटिक और टिल्डे सिंटैक्स का अर्थ निम्न जैसा है। पीछे की बोली कहती है: इस अभिव्यक्ति को जैसा है और जैसा है वैसा लौटा दो। और टिल्ड कहता है: यहां चर का मूल्य स्थानापन्न करें।

इसलिए, जब हम इसे लिखते हैं, तो विस्तार पर मैक्रो हमारे पास एक नई अभिव्यक्ति लौटाएगा, जो एक अतिरिक्त त्रुटि संदेश के साथ जोर देगा।

HyLang एक मस्त चीज़ है। सच है, जबकि हम इसका उपयोग नहीं करते हैं। शायद हम कभी नहीं करेंगे। ये सभी वस्तुएं प्रायोगिक हैं। मैं चाहता हूं कि आप यहां इस भावना के साथ जाएं कि पायथन में आप कुछ ऐसे काम कर सकते हैं, जो आपने पहले कभी नहीं सोचा होगा। और शायद उनमें से कुछ आपके चल रहे काम में व्यावहारिक अनुप्रयोग पाएंगे।

मेरे लिए बस इतना ही आप लिंक देख सकते हैं:

पैटर्न ,
मैक्रोनी ,
HyLang ,
मैक्रो की क्षमताओं के एक उन्नत अध्ययन के लिए ऑनलस्प - पुस्तक । यह विशेष रूप से रुचि रखने वालों के लिए है। सच है, किताब पूरी तरह से पायथन पर आधारित नहीं है, लेकिन कॉमन लिस्प पर आधारित है। लेकिन एक गहन अध्ययन के लिए, यह और भी दिलचस्प होगा।

एक अजगर के लिए मैक्रोज़। यैंडेक्स रिपोर्ट

pytest

पैटर्न मिलान

अपने आप को रूपांतरण कैसे लिखें? macropy!

HyLang

More articles: