🎯 🅿️ 🎨 हमने स्वचालित रूप से उत्पाद कार्ड कैसे बनाए 🍢 🤞🏻 🔓

अपने आखिरी लेख में, मैंने इस बारे में बात की कि हमने उत्पाद के नामों से उत्पादों को स्वचालित रूप से कैसे सीखा, जो कि, उदाहरण के लिए, समझना है

हेडसेट A4Tech खूनी G501 ब्लैक

तथा

A4 G501, काला (लाल) {माइक्रोफोन वाला हेडफोन, 2.2m}

- यह समान हे। इससे कीमतों और उपलब्धता से संबंधित हर चीज को स्वचालित करना संभव हो गया। इस लेख में मैं आपको बताऊंगा कि कैसे हम आगे बढ़े और माल की विशेषताओं और छवियों के साथ काम को स्वचालित किया।

यह उत्पाद विकास की एक तार्किक निरंतरता है, जिसे नाम से माल के स्वचालित मिलान का विश्वसनीय संचालन दिया गया है। हमने स्वचालन परियोजना को एक अलग कंपनी में अलग कर दिया, और मैं एक उदाहरण के रूप में अपने ग्राहकों में से एक का उपयोग करके परियोजना के बारे में बात करता हूं, और कुछ ग्राहक डेटा को उनकी अनुमति के साथ साझा करता हूं। अगला एक छोटा सा परिचय है, और फिर हम उन एल्गोरिदम के बारे में बात करेंगे जिनका हमने उपयोग किया था।

हमने कहां से शुरुआत की?

एक साल पहले की प्रारंभिक अवस्था इस प्रकार थी: 120 हजार माल की एक सूची, जिसमें से 70 हजार स्टॉक में हैं। माल की स्वचालित तुलना और निर्माण शुरू होने के बाद (जैसा कि पिछले लेख के बारे में था), कैटलॉग जल्दी से कुछ माल के साथ एक मिलियन तक बढ़ गया, जिसमें से 600-650 हजार स्टॉक में थे। लेकिन खुदरा खरीद के लिए केवल 350 हजार पद उपलब्ध थे, क्योंकि बाकी में विशेषताएं नहीं थीं। श्रेणी के आधार पर, उत्पाद को बिक्री पर प्रदर्शित करने के लिए, विशेषताओं का एक निश्चित प्रतिशत भरना होगा। कुछ श्रेणियों में, एक तस्वीर होनी चाहिए। बिक्री पर 350 हजार माल में से, 120 हजार में कोई चित्र नहीं था। मैं समझाऊंगा कि जो सामान स्टॉक में हैं, लेकिन रिटेल में नहीं बिके हैं, उन्हें थोक में बेचा जा सकता है, यह नाम और कीमतों के साथ एक्सेल फाइल भेजने का रिवाज है। लेकिन कार्ड के साथ बी 2 बी पोर्टल निस्संदेह एक प्लस है।उन्हें एग्रीगेटर्स पर भी रखा जा सकता है, जहां उत्पाद के बारे में पहले से अधिक विस्तृत जानकारी है।

चित्र और विनिर्देशन अर्ध-स्वचालित मोड में भरे गए थे। इस वर्ष के दौरान, अन्य ग्राहक दिखाई दिए, और अब मुझे पता है कि कैसे प्रक्रिया एक दर्जन या दो अपेक्षाकृत बड़े स्टोरों में बनाई गई थी, यह अधिक या कम मानक है। प्रोग्रामर जो समय-समय पर साइट को बनाए रखता है, स्टोर के विषय पर साइट पार्सर लिखता है। इसके अलावा, व्यवस्थापक पैनल में सामग्री विभाग कैटलॉग से उपभोग किए गए सामान और उत्पादों की तुलना करता है, साथ ही स्रोत में श्रेणियां और कैटलॉग में श्रेणियां भी। फिर, प्रत्येक श्रेणी में, प्रत्येक संपत्ति के लिए, पत्राचार, प्रतिस्थापन, इकाई रूपांतरण कॉन्फ़िगर किए जाते हैं। कुछ सामानों के कार्ड पूरी तरह से मैन्युअल रूप से भरे जाते हैं। माल का एक छोटा सा हिस्सा बाहरी ठेकेदार को दिया जाता है। तो यह हमारे ग्राहक के साथ था।

लगभग 6% कैटलॉग प्रति माह अप्रचलित हो जाता है, अर्थात साइट पर 500 हजार उत्पाद बेचने के लिए, आपको उसी स्तर पर मात्रा बनाए रखने के लिए महीने में 30 हजार कार्ड बनाने की आवश्यकता होती है।

हमने समस्या को यथासंभव व्यवस्थित रूप से देखने और उत्पाद कार्ड बनाने की प्रक्रिया को यथासंभव स्वचालित करने का निर्णय लिया।

हमें डेटा कहां से मिलेगा

पहला सवाल यह है कि स्रोत डेटा प्राप्त करने के लिए कहां है, और हम कितना प्राप्त कर सकते हैं। हमारे पास दो मुख्य स्रोत हैं:

विक्रेता फ़ाइलें और एपीआई
डेटा जो हमें इंटरनेट पर मिला

दूसरे बिंदु में पार्सिंग साइट शामिल हैं। हमने पार्सर बनाने के लिए एक बुनियादी ढांचा बनाया है, जो आपको लगभग आधे घंटे में साइट पार्सिंग को कॉन्फ़िगर करने की अनुमति देता है। तब इस बुनियादी ढांचे पर लगभग सौ पार्सर्स बनाए गए थे, फिलहाल उन्होंने पहले ही 16 मिलियन उत्पादों के बारे में जानकारी एकत्र कर ली है और 35 मिलियन छवियों और दस्तावेजों (निर्देश, डेटाशीट) को सीडीएन में डाउनलोड और अपलोड किया है। CDN के रूप में हम एक बनी CDN का उपयोग करते हैं। छवियों को सहेजते समय, हम उनके अवधारणात्मक हैश पर विचार करते हैं ताकि हम जल्दी से बाद में डुप्लिकेट पा सकें, हम इस बारे में नीचे बात करेंगे। आदर्श रूप से, यदि संकेत और सेटिंग्स के बिना स्वयं पार्सर किसी भी साइट पर उत्पादों के बारे में जानकारी एकत्र करने में सक्षम होगा, लेकिन ये विकृत योजनाएं हैं।

हम छवियों के साथ उत्पाद कार्ड कैसे भरते हैं

यह सबसे सरल और सबसे स्पष्ट हिस्सा है। हमारे पास पहले से ही नाम से उत्पादों के मिलान के लिए एक तंत्र है, यह जल्दी और सही तरीके से काम करता है। इस मामले में, हम झूठी सकारात्मक प्रतिक्रियाओं में रुचि रखते हैं, जो लगभग 0.1% हैं। व्यावहारिक रूप से नकारात्मक नकारात्मक परिणाम को प्रभावित नहीं करता है, क्योंकि बहुत अंतर नहीं है, हम अंत में 10 या 11 स्रोतों के साथ काम करते हैं। तुलना प्रति सेकंड 5-6 हजार उत्पादों की गति से काम करती है और हमारे सभी 15 मिलियन उत्पादों को एक घंटे से भी कम समय में किसी भी कैटलॉग से मिलान किया जाता है। इस पर समाप्त करना संभव होगा, क्योंकि तुलना के बाद हम माल की सभी छवियों को जानते हैं। लेकिन व्यवहार में, उन्हें अलग-अलग संयोजनों में विभिन्न साइटों पर डुप्लिकेट किया जाता है, और समान छवियों के एक सेट से गुणवत्ता में सर्वश्रेष्ठ चुनना सही होगा, और उत्पाद कार्ड के बाद के मैनुअल संपादन के मामले में बाकी विकल्पों के रूप में छोड़ दें।

समान छवियों की पहचान दो चरणों में होती है। पहले चरण में, फ़ाइल डाउनलोड करते समय, हमारी प्रत्येक छवि के लिए हम एक अवधारणात्मक हैश मानते हैं। सबसे पहले, ठोस पृष्ठभूमि को हटा दें, खेतों को काटें। फिर परिणामस्वरूप छवि के लिए डीसीटी हैशिंग को लागू करें। इस एल्गोरिथ्म के बारे में एक बार हैबे पर एक लेख था ।

प्रत्येक उत्पाद के लिए मिलान करने के बाद, हमारे पास पहले से गणना की गई हैश वाली छवियों का एक सेट है, और हमें इसे क्लस्टर में विभाजित करने की आवश्यकता है, और फिर प्रत्येक क्लस्टर से उच्चतम गुणवत्ता वाली छवि का चयन करें। इस तरह के एक सेट का आकार कई इकाइयों से कई सौ इकाइयों में भिन्न हो सकता है, एक विशिष्ट मूल्य 10 - 40 है। इस आकार पर, आप द्विघात जटिलता एल्गोरिथ्म को लागू कर सकते हैं, मुख्य ऑपरेशन - हैमिंग दूरी की गणना - बहुत तेज है।

हम छवियों को क्लस्टर में विभाजित करते हैं:

सेट से पहली छवि पहला क्लस्टर बनाती है
प्रत्येक अगली छवि की तुलना प्रत्येक क्लस्टर से पहली छवि के साथ की जाती है
यदि उच्चतम समानता गुणांक थ्रेशोल्ड मान से अधिक है, तो छवि को मौजूदा क्लस्टर में जोड़ें
अन्यथा हम एक छवि से एक नया क्लस्टर बनाते हैं

उसके बाद, हम प्रत्येक क्लस्टर से उच्चतम गुणवत्ता की छवि लेते हैं। पहले सन्निकटन में, गुणवत्ता छवि के आकार और संकल्प द्वारा निर्धारित की जाती है। आकार और रिज़ॉल्यूशन जितना बड़ा होगा, बेहतर होगा, लेकिन रिज़ॉल्यूशन के आकार का अनुपात उचित सीमा के भीतर होना चाहिए। ऐसा विश्लेषण व्यवहार में पर्याप्त है।

इसके अलावा एक और अति सूक्ष्म अंतर है। हमने माल के लिए चित्रों को स्वचालित रूप से पाया, लेकिन, फिर भी, अब तक व्यक्ति अधिक महत्वपूर्ण है। और अगर किसी व्यक्ति ने छवियों के अनुक्रम को बदलने का फैसला किया, तो उसके पास ऐसा अवसर होना चाहिए। लेकिन साथ ही, हम मैन्युअल संपादन के बाद कार्ड को "फ्रीज" करने के विचार की तरह नहीं हैं, हम एल्गोरिदम में सुधार करना चाहते हैं, नई छवियां ढूंढना और भविष्य में कार्ड को स्वचालित रूप से सुधारना चाहते हैं।

इसे ध्यान में रखते हुए, निम्नलिखित दृष्टिकोण एक कामकाजी विकल्प बन गया: सभी छवियां जो मैन्युअल रूप से बदल दी गई हैं (और यहां एक परिवर्तन का अर्थ है कार्यों का व्यापक संभव सेट: पुष्टि, बहिष्करण, क्रम बदलना) हमेशा जगह में रहेगा। अन्य सभी छवियां हम भविष्य में स्वचालित मोड में बदल सकते हैं।

हम गुणों के साथ उत्पाद कार्ड कैसे भरते हैं

गुणों के साथ, चीजें चित्रों की तुलना में थोड़ी अधिक जटिल हैं। विभिन्न स्रोतों में, एक ही संपत्ति को अलग-अलग कहा जा सकता है, विभिन्न इकाइयों में व्यक्त किया जा सकता है, इसमें स्पष्ट पत्राचार नहीं हो सकता है (उदाहरण के लिए, एचडीएमआई: हाँ और इंटरफेस: एचडीएमआई, यूएसबी)।

हमने गुणों को परिभाषित करना शुरू किया और निम्नलिखित प्रकारों के साथ आए:

नहीं
संख्या + इकाई
एकल विकल्प
बहुविकल्पी
लाइन

इसके अलावा, मैं " आयाम " और " माप की इकाई " शब्दों का उपयोग करूंगा , उनके अलग-अलग अर्थ हैं।

फिर उन्होंने माप की इकाइयों का वर्णन किया और उन्हें कैसे परिवर्तित किया जाए। फिलहाल, मीटर से लेकर डेसिबल तक पहले से ही सौ से अधिक हैं। उन सभी को आयाम के आधार पर समूहों में विभाजित किया जाता है, और समूह के भीतर एक दूसरे के लिए लाया जा सकता है। उदाहरण के लिए, हॉर्स पावर को वाट और लुमेन से न्यूटन मीटर में परिवर्तित किया जा सकता है - यह असंभव है।

इसके बाद, हमने संपत्तियों को स्वतंत्र चरणों में भरने की प्रक्रिया को तोड़ने की कोशिश की ताकि प्रत्येक चरण में सुधार किया जा सके और दूसरों से अलग परीक्षण किया जा सके। कैटलॉग के प्रत्येक उत्पाद के लिए, हम निम्नलिखित कार्य करते हैं:

हम नाम से स्रोतों से सामान की तुलना करते हैं (हमारे पास एक जटिल प्रक्रिया है, यह पिछले लेख में विस्तार से वर्णित है )
भरे जाने वाले संपत्ति परिभाषाओं की एक सूची बनाएं
हम सभी संबंधित उत्पादों से गुणों की एक सूची बनाते हैं
हम खंड 2 से प्रत्येक परिभाषा को खंड 3 से मानों की सूची से जोड़ते हैं
सूची को एकल मान में बदलें

आइए अंतिम दो बिंदुओं पर एक उदाहरण के रूप में अधिक विस्तार से विचार करें। मान लीजिए कि हमारे पास इस तरह की एक संपत्ति परिभाषा है:

नाम: "पावर"
प्रकार: संख्या (6, 0)
इकाई: वाट

और मूल्यों की ऐसी सूची (वास्तव में, यह बहुत बड़ी है):

लंबाई (मिमी): 220
लंबाई: 0.22 मीटर
पावर (किलोवाट): 1.8
पावर: 1.8 किलोवाट
रेटेड पावर: 1800 डब्ल्यू
पावर: 2 किलोवाट
पावर: 1800

शुरू करने के लिए, हमें यह समझने की आवश्यकता है कि सिद्धांत में क्या मूल्य विचार करने योग्य हैं। एक कार्यशील लेकिन अंतिम संस्करण इस तरह नहीं दिखता:

हमारे पास प्रत्येक मामले के लिए स्वतंत्र एल्गोरिदम के रूप में लागू किए गए ये बिंदु हैं, इसलिए प्रत्येक को दूसरों से अलग-अलग सुधार किया जा सकता है। पर्यायवाची के साथ अनुच्छेद में, हमने मैन्युअल रूप से कुछ सबसे स्पष्ट जोड़े में प्रवेश किया और बेहतर समय तक स्थगित कर दिया। आगे, शायद, हम भरे हुए गुणों के डेटा का उपयोग करके, स्वचालित रूप से समानार्थी शब्द का चयन करने का प्रयास करेंगे। इसके अलावा, हम एक स्रोत से केवल एक मूल्य ले सकते हैं, इसलिए प्रत्येक एल्गोरिदम की प्राथमिकता है, यह एल्गोरिदम के निष्पादन का क्रम निर्धारित करता है।

इस ऑपरेशन के बाद, हमारे पास मूल्यों का सेट होगा:

पावर (kW): 1.8
पावर: 1.8 kW
रेटेड पावर: 1800 W
पावर: 2 kW
पावर: 1800

हम जानते हैं कि इस सेट को एक निश्चित आयाम की संख्या तक घटाया जाना चाहिए। प्रत्येक प्रकार के लिए, हमारे पास एक स्वतंत्र एल्गोरिथ्म है। माप की संख्या और इकाई के मामले में, हम निम्नलिखित करते हैं:

प्रत्येक मूल्य के लिए, हम माप की इकाई को निर्धारित करने का प्रयास करते हैं। यदि यह विफल हुआ, या इसका आयाम संपत्ति के आयाम के साथ मेल नहीं खाता है, तो भविष्य में इस मूल्य को अनदेखा करें। हमारे पास मूल्यों का निम्नलिखित सेट होगा:

पावर (kW): 1.8
पावर: 1.8 kW
रेटेड पावर: 1800 W
पावर: 2 kW

हम प्रत्येक मान को एक संख्या में बदलने और माप की वांछित इकाई में लाने का प्रयास करते हैं। यहां हम सभी संभावित प्रारूपों को ध्यान में रखने की कोशिश करते हैं: पूर्णांक और भिन्नात्मक भागों को अलग करने के लिए अल्पविराम और बिंदु के साथ, अल्पविराम और रिक्त स्थान के साथ हजारों को अलग करने के लिए, संक्षिप्त रूप हजारों और इसी तरह। यह निम्नलिखित निकला:

1800 डब्ल्यू
1800 डब्ल्यू
1800 डब्ल्यू
2000 डब्ल्यू

इस सेट को एक मान पर घटाया जाना चाहिए। सेट में एकल मान के मामले में, इसका उपयोग करें। यदि मूल्य एक से अधिक हैं और वे मेल खाते हैं, तो और भी बेहतर। यदि मान एक से अधिक हैं और वे मेल नहीं खाते हैं, तो हम सबसे आम लेते हैं। यदि यह मामला नहीं है, तो संपत्ति को स्वचालित रूप से न भरें।

यह एक संख्यात्मक प्रकार की संपत्ति के लिए एक उदाहरण था, अन्य प्रकारों के लिए अंतिम चरण अलग-अलग हैं और उनकी विशेषताओं को ध्यान में रखते हैं।

मैनुअल संपादन के लिए, हम छवियों के साथ उसी तरह गुणों से निपटते हैं। जो कुछ भी परिवर्तित किया गया है या मैन्युअल रूप से पुष्टि की गई है वह स्वचालित रूप से अब और नहीं बदल सकता है। बाकी सब कुछ कर सकते हैं।

हम किसी प्रोजेक्ट का परीक्षण कैसे करते हैं

इस परियोजना में एक उल्लेखनीय विशेषता है: कोर एक ऐसी तकनीक है जिसमें पूरी तरह से अनुकूलन कार्य शामिल हैं। इसके अलावा, इन कार्यों में से अधिकांश का सटीक समाधान नहीं है, और उनके लिए हम अपने स्वयं के मानदंड के साथ आए जो गति और सटीकता को ध्यान में रखते हैं। यह वह जगह है जहाँ वास्तव में परीक्षणों की आवश्यकता होती है।

परियोजना की वास्तुकला इस तरह से डिज़ाइन की गई है कि जहां तक संभव हो, जटिल एल्गोरिदम को सरल चरणों में विभाजित किया गया है। प्रत्येक चरण के लिए एक अनुकूलन मानदंड और परीक्षणों का एक सेट है। सटीकता पर जोर, लेकिन गति भी। बहुत कम से कम, हम हर बदलाव की देखरेख कर रहे थे। प्रत्येक ऐसा कदम खेल प्रोग्रामिंग के कार्य जैसा दिखता है, और हमारे पास प्रत्येक बदलाव के बाद परिणामों की तुलना करने का अवसर है।

परिणाम

उत्पादन में कुछ महीनों के काम के बाद परिणामों का अधिक सटीक मूल्यांकन करना संभव होगा। अब एक हफ्ते से भी कम समय रह गया है। इस समय के दौरान, हम लगभग 110 हजार उत्पादों को साइट पर जोड़ने में सक्षम थे जो पहले गुणों या छवियों की कमी के कारण नहीं बिके थे।
भविष्य के लिए लक्ष्य पूरी तरह से कैटलॉग को भरने के लिए मैनुअल काम को छोड़ देना है। पहले चरण में, एक अच्छा परिणाम इसकी मात्रा को 70% तक कम करना होगा। मुझे लगता है कि कई महीनों के परिणामों से हम इसे हासिल करेंगे।