🗒️ 😢 🔷 इसे तेज़ी से लेटमाइज़ करें (PyMorphy2, PyMystem3 और कुछ जादू) 👶🏻 👈🏼 💐

मैं एक प्रोग्रामर के रूप में काम करता हूं, जिसमें पाठ विश्लेषण के संबंध में मशीन सीखना भी शामिल है। एक प्राकृतिक भाषा को संसाधित करते समय, दस्तावेजों की प्रारंभिक तैयारी की आवश्यकता होती है, और तरीकों में से एक नींबू पानी है - पाठ के सभी शब्दों को उनके सामान्य रूपों में लाना, संदर्भ को ध्यान में रखना।

हाल ही में, हमें इस प्रक्रिया के लिए बड़ी समय लागत की समस्या का सामना करना पड़ा। एक विशिष्ट कार्य में 100,000 से अधिक दस्तावेज थे, जिनकी औसत लंबाई लगभग 1000 वर्ण थी, और एक नियमित स्थानीय कंप्यूटर पर प्रसंस्करण को लागू करना आवश्यक था, और गणना के लिए हमारे सर्वर पर नहीं। हम इंटरनेट पर एक समाधान नहीं ढूंढ पाए, लेकिन हमने इसे स्वयं पाया, और मैं इसे साझा करना चाहूंगा - इस लेख में दो सबसे लोकप्रिय नींबू पानी के पुस्तकालयों का तुलनात्मक विश्लेषण प्रदर्शित करने के लिए।

Pymorphy2

सबसे लोकप्रिय में से एक PyMorphy2 है - यह लगभग हर समाधान में पाया जाता है जो नेटवर्क पर पाया जा सकता है। हमने इस लाइब्रेरी का भी उपयोग किया, और इसने खुद को पूरी तरह से दिखाया, जब तक कि इसे पूरे डेटाबेस के लिए लेमेटेटाइजेशन करने की आवश्यकता नहीं थी (जैसा कि मैंने ऊपर लिखा है, ये 100 हजार से अधिक छोटे दस्तावेज़ हैं)। दस्तावेजों की इतनी मात्रा का विश्लेषण करने के लिए, PyMorphy2 में लगभग 10 घंटे लगेंगे, जबकि इस समय प्रोसेसर लोड औसतन लगभग 30% (Intel Core i7 7740X) होगा।

Pymystem3

एक अन्य समाधान की तलाश में, हमने यैंडेक्स पायमिस्ट 3 से लाइब्रेरी का विश्लेषण किया, लेकिन परिणाम PyMorphy2 की तुलना में लगभग दोगुना (समय में) खराब था: 100 हजार दस्तावेजों को संसाधित करने में 16 घंटे लगेंगे।

कुछ जादू

यह हमें अजीब लग रहा था कि प्रोसेसर पर लोड लगभग शून्य था। यह भी अजीब था कि एक पाठ से परिणाम प्राप्त करने के लिए, यहां तक कि एक बड़े (3-4 हजार अक्षर), PyMystem3 ने 1 सेकंड का समय लिया। इसलिए, हमने उनके बीच कुछ प्रकार के विभाजक जोड़कर ग्रंथों को संयोजित करने का निर्णय लिया, जिसके द्वारा हम फिर से दस्तावेजों की हमारी सूची की संरचना को वापस कर सकते हैं और उन्हें लेमेट्रीकरण के लिए दे सकते हैं।

पायथन समाधान कोड:

def checkExecTimeMystemOneText(texts):
    lol = lambda lst, sz: [lst[i:i+sz] for i in range(0, len(lst), sz)]
    txtpart = lol(texts, 1000)
    res = []
    for txtp in txtpart:
        alltexts = ' '.join([txt + ' br ' for txt in txtp])

        words = mystem.lemmatize(alltexts)
        doc = []
        for txt in words:
            if txt != '\n' and txt.strip() != '':
                if txt == 'br':
                    res.append(doc)
                    doc = []
                else:
                    doc.append(txt)

हमने संघ के लिए प्रत्येक से 1000 दस्तावेज लिए, उनके बीच विभाजक "br" था (यह ध्यान दिया जाना चाहिए कि रूसी में ग्रंथों, और लैटिन वर्णमाला और विशेष वर्ण, हमने पहले हटा दिया था)। इस समाधान ने लेमेटेटाइजेशन को काफी तेज कर दिया: औसतन, यह सभी 100 हजार दस्तावेजों के लिए लगभग 25 मिनट निकला, प्रोसेसर लोड 20-40% था। सच है, यह समाधान रैम को अधिक लोड करता है: औसतन, यह लगभग 3-7 जीबी है, लेकिन यह एक अच्छा परिणाम है। यदि पर्याप्त मेमोरी नहीं है, तो आप संयुक्त होने के लिए दस्तावेजों की संख्या को बदल सकते हैं, हालांकि यह प्रसंस्करण को धीमा कर देगा, यह अभी भी एक समय में एक पाठ की तुलना में बहुत तेज होगा। इसके अलावा, यदि स्मृति की मात्रा अनुमति देती है, तो आप इस मूल्य को बढ़ा सकते हैं और परिणाम भी तेजी से प्राप्त कर सकते हैं।

तालिका स्थानीय कंप्यूटर पर प्रसंस्करण के दौरान पुस्तकालयों की तुलना दिखाती है (Intel Core i7 7740X, 32 GB RAM):

तरीका	समय	RAM (Mb)	प्रतिशत
Pymorphy2	~ ९ .५ घंटे	500 - 600 रु	25 - 30%
PyMystem3 1 वाक्य द्वारा	~ 16 घंटे	५०० - 700००	0 - 1%
1000 ऑफर के साथ PyMystem3	26 मिनट	2000 - 7000	25 - 40%

अन्य विशेषज्ञों की राय जानना दिलचस्प है। शायद किसी ने छोटे ग्रंथों को सुनाने के लिए अधिक समय-कुशल तरीका पाया?

मिखाइल कबकोव, वरिष्ठ सॉफ्टवेयर इंजीनियर,
अन्ना मिखाइलोवा, डेटा
खनन के प्रमुख , कोडेक्स कंसोर्टियम

इसे तेज़ी से लेटमाइज़ करें (PyMorphy2, PyMystem3 और कुछ जादू)

Pymorphy2

Pymystem3

कुछ जादू

More articles: