पिछले अध्याय

42. डेटा बेमेल के बारे में अधिक

मान लीजिए आपने एक भाषण मान्यता प्रणाली विकसित की है जो प्रशिक्षण नमूने पर और "प्रशिक्षण सत्यापन के लिए नमूना" पर बहुत अच्छी तरह से काम करती है। हालांकि, सत्यापन के नमूने में इसकी गुणवत्ता खराब है: जाहिर है, आप डेटा असंगति की समस्या से निपट रहे हैं। इस मामले में क्या किया जा सकता है?

मैं निम्नलिखित की सिफारिश करूंगा: (i) यह समझने की कोशिश करें कि प्रशिक्षण और सत्यापन नमूनों के डेटा वितरण कैसे भिन्न होते हैं। (ii) संभव के रूप में कई प्रशिक्षण उदाहरण खोजें जो सत्यापन नमूना उदाहरणों के अनुरूप हों और जिस पर एल्गोरिथ्म गलत हो।

उदाहरण के लिए, उदाहरण के लिए, यदि आप मैन्युअल रूप से वाक् पहचान डिवाइस के लिए त्रुटियों का विश्लेषण करते हैं, तो आप 100 उदाहरणों का विश्लेषण करते हैं, यह समझने की कोशिश करते हैं कि उनमें से कौन सा एल्गोरिथम गलतियां है। और परिणामस्वरूप, आप पाते हैं कि सिस्टम अच्छी तरह से काम नहीं करता है, क्योंकि सत्यापन नमूना से अधिकांश ध्वनि क्लिप मशीन में दर्ज किए जाते हैं, जबकि प्रशिक्षण नमूने के लगभग सभी उदाहरणों में कोई बाहरी आवाज़ नहीं है। इंजन और सड़क के शोर की आवाज भाषण मान्यता की गुणवत्ता को काफी कम कर देती है। इस मामले में, आप कार में दर्ज किए गए अधिक प्रशिक्षण उदाहरणों को जोड़ने का प्रयास कर सकते हैं। एल्गोरिथ्म के त्रुटि विश्लेषण का उद्देश्य प्रशिक्षण और परीक्षण के नमूनों की विसंगतियों के बारे में खोज करना है, जिससे इन नमूनों में डेटा असंगति हो सकती है।

यदि प्रशिक्षण नमूना और "प्रशिक्षण सत्यापन के लिए नमूना" में कार में रिकॉर्ड किए गए ध्वनि के उदाहरण शामिल हैं, तो आपको डेटा के इस सबसेट पर सिस्टम की गुणवत्ता की भी दोहरी जांच करनी चाहिए। यदि एल्गोरिथ्म प्रशिक्षण सेट से कार में दर्ज किए गए उदाहरणों के साथ अच्छी तरह से काम करता है, लेकिन "प्रशिक्षण सत्यापन के लिए नमूना" से कार के उदाहरणों का सामना नहीं करता है, तो यह एक बार फिर उस परिकल्पना की पुष्टि करता है कि प्रशिक्षण सेट में कार में दर्ज किए गए अधिक वीडियो जोड़ रहे हैं। गुणवत्ता में सुधार करने में मदद करेगा। यही कारण है कि पिछले अध्याय में हमने आपके प्रशिक्षण में शामिल किए जाने की आवश्यकता पर चर्चा की, जो कि समान वितरण से लिए गए डेटा की एक निश्चित मात्रा को मान्यता और परीक्षण के नमूने के रूप में निर्धारित करते हैं। यह आपको एल्गोरिथ्म की गुणवत्ता की तुलना उदाहरणों के साथ करने की अनुमति देगा,सत्यापन और परीक्षण नमूनों के उदाहरणों पर अपने काम की गुणवत्ता के साथ प्रशिक्षण नमूने से कार में दर्ज किया गया।

, . , , , , , .

43.

, , . , , .

, / . . , , . «» / , , , , . , «» , , .

, , , .

. , - , , . , .

, : , , . , , 1000 1 . 1 , 1000 , , . , , , — . . , , , .

, 1000 , 10 . «» 10 , , , . , , , .

. , . , . , . , ( ), , .

~ 20 . 3D- ; , , , , . .. . — , , , — 20 . , 100 000 , 20 , , «» 20 , , .

, , . , , , , 20 , 1 . .

डेटा सिंथेसिस पर काम करते हुए, मेरी टीमों ने कभी-कभी सप्ताह बिताए इससे पहले कि हम उन विवरणों को पुन: पेश कर सकें जो हमें उदाहरणों के वास्तविक वितरण के लिए पर्याप्त करीब लाने की अनुमति देते हैं ताकि संश्लेषित डेटा का महत्वपूर्ण प्रभाव हो सके। लेकिन अगर आप सही ढंग से उन विस्तृत वस्तुओं को पुन: उत्पन्न कर सकते हैं जो उन पर करीब हैं, जिस पर एल्गोरिदम को उच्च गुणवत्ता दिखानी चाहिए, तो आपके पास पहले की तुलना में बहुत अधिक मात्रा में प्रशिक्षण नमूने तक पहुंच प्राप्त करने का मौका है।

विस्तार