पिछले अध्याय

विभिन्न वितरण के साथ नमूनों पर प्रशिक्षण और परीक्षण

36. जब आपको अलग-अलग वितरण पर एल्गोरिदम को प्रशिक्षित और परीक्षण करना होगा

आपके फ़ेलिन ऐप के उपयोगकर्ताओं ने 10,000 छवियां अपलोड की हैं, जिन्हें आपके द्वारा बिल्लियों के बिना और बिल्लियों के साथ छवियों के रूप में चिह्नित किया गया था। आपके पास ऑनलाइन एकत्र की गई 200,000 छवियों का एक बड़ा चयन भी है। इस मामले में प्रशिक्षण, सत्यापन और परीक्षण के नमूने कैसे चुनें?

चूंकि उपयोगकर्ताओं द्वारा अपलोड की गई 10,000 छवियां डेटा के वास्तविक संभाव्य वितरण को सटीक रूप से दर्शाती हैं, जिस पर आपका एल्गोरिथ्म अच्छी तरह से काम करना चाहिए, आप इन छवियों का उपयोग सत्यापन और परीक्षण नमूनों के लिए कर सकते हैं। यदि आप एक गहरी शिक्षण एल्गोरिथ्म सीख रहे हैं जिसमें बहुत अधिक डेटा की आवश्यकता होती है, तो आप इसे प्रशिक्षित करने के लिए इंटरनेट से 200,000 अतिरिक्त उदाहरणों का उपयोग कर सकते हैं। इस मामले में, सत्यापन नमूने के साथ आपके प्रशिक्षण और परीक्षण का एक अलग संभावना वितरण होगा। यह आपके काम को कैसे प्रभावित करेगा?

प्रशिक्षण, सत्यापन और परीक्षण के नमूनों के लिए डेटा के चयन के साथ-साथ, हम अपनी छवियों के सभी 210,000 ले सकते हैं, उन्हें मिला सकते हैं, और प्रत्येक नमूने के लिए यादृच्छिक रूप से डेटा का चयन कर सकते हैं। इस मामले में, सभी तीन नमूनों में समान वितरण के डेटा शामिल होंगे।

लेकिन मैं इस दृष्टिकोण के खिलाफ हूं। इस तथ्य के कारण कि सत्यापन और परीक्षण नमूनों के लगभग 97.6% डेटा (205,000 / 210,000 .6 97.6%) इंटरनेट पर पाए जाने वाले डेटा (उपयोगकर्ताओं से प्राप्त नहीं) से लिए जाएंगे और वे वास्तविक वितरण को प्रतिबिंबित नहीं करेंगे, जिस पर उच्च गुणवत्ता प्राप्त करना आवश्यक है। सत्यापन और परीक्षण नमूनों के चयन के लिए हमारी सिफारिश याद रखें:

सत्यापन और परीक्षण के नमूने चुनें जो उस डेटा को दर्शाते हैं जो आपके एल्गोरिथ्म को एप्लिकेशन लॉन्च करने के बाद प्राप्त होगा और जिस पर उसे अच्छी तरह से काम करना चाहिए

, , .

: . « », « » « ». . A B, . ( «» , , .) .

. , . , . , , .

, . , , , .

, 10000 , 5000 . 5000 . , 205 000, 5000 , 200 000 , . .

. , , . 20 000 , . 500 000 , . 10 000 10 000 500 000 .

, , , , .

37. ,

, 10 000 . . 20 000 , . 20 000 + 10 000 = 30 000 20 000 , ?

( , ), , . , , 20000 , .

, , . / , 20000 . , , .

, , x -> y, . , - , , , , , .

20000 :

1. , . , , , . , .
2. , (, , , . .). , , «» . , , , , . , .

, . , , , « - , . , »

, , , . , , , . «» , , .

( ), , .

, , , . , , , , , . , :

इन दस्तावेजों में बिल्लियों जैसा कुछ भी नहीं होता है। वे सत्यापन और परीक्षण नमूनों के वितरण के पूरी तरह से विपरीत हैं। इस डेटा को नकारात्मक उदाहरण के रूप में शामिल करने का कोई मतलब नहीं है। ऊपर वर्णित पहले प्रभाव से लाभ नगण्य होगा - तंत्रिका नेटवर्क इस डेटा से कुछ भी निकालने में सक्षम होने की संभावना नहीं है जो आपके आवेदन के सत्यापन और परीक्षण नमूनों पर बेहतर काम करने में मदद करेगा। इस डेटा को शामिल करने से कंप्यूटिंग संसाधनों का नुकसान होगा और संभवतः तंत्रिका नेटवर्क की क्षमता लगभग कार्यों को कम कर सकती है (अंततः इसकी मान्यता क्षमताओं को कम कर सकती है)।

विस्तार