🐰 👊🏻 🤳🏾 बिना शिक्षक के मशीन सीखना। पुस्तक का अंश 🏇🏾 🛀 🍴

हैलो, हब्रोज़िटेली! जबकि हमारी खबर एक प्रिंटिंग हाउस में छप रही है और कार्यालय एक दूरस्थ स्थान पर है, हमने पॉल और हार्वे डेटटेल की पुस्तक "पायथन: आर्टिफिशियल इंटेलिजेंस, बिग डेटा एंड क्लाउड कंप्यूटिंग" से एक अंश साझा करने का निर्णय लिया है

केस स्टडी: एक शिक्षक के बिना मशीन सीखना, भाग 2 - के औसत क्लस्टरिंग

इस खंड में, शायद शिक्षक के बिना मशीन लर्निंग एल्गोरिदम को सबसे सरल प्रस्तुत किया जाएगा - k औसत विधि का उपयोग करके क्लस्टरिंग। एल्गोरिथ्म अनलिस्टेड नमूनों का विश्लेषण करता है और उन्हें समूहों में संयोजित करने का प्रयास करता है। आइए हम बताते हैं कि k "k का अर्थ विधि" में क्लस्टर की संख्या को दर्शाता है जिसमें डेटा को विभाजित किया जाना है।

एल्गोरिदम नमूनों को निकटतम निकटतम पड़ोसियों के क्लस्टरिंग एल्गोरिदम के समान दूरी के मैट्रिक्स का उपयोग करके पूर्व निर्धारित संख्या के समूहों में वितरित करता है। प्रत्येक क्लस्टर को सेंट्रोइड के चारों ओर वर्गीकृत किया जाता है - क्लस्टर का केंद्रीय बिंदु। प्रारंभ में, एल्गोरिथ्म डेटा सेट नमूनों में से यादृच्छिक सेंट्रोइड्स का चयन करता है, जिसके बाद शेष नमूने निकटतम सेंट्रोइड के साथ समूहों के बीच वितरित किए जाते हैं। इसके बाद, केन्द्रक का पुनरावृत्त पुनरावृत्ति किया जाता है, और नमूनों को समूहों के बीच पुनर्वितरित किया जाता है, जब तक कि किसी दिए गए केंद्रक से उसके क्लस्टर में शामिल नमूनों की दूरी सभी समूहों के लिए कम से कम नहीं हो जाती। एल्गोरिथ्म के परिणामस्वरूप, लेबल का एक आयामी आयाम बनाया जाता है जो उस क्लस्टर को नामित करता है जिसमें प्रत्येक नमूना होता है, साथ ही प्रत्येक क्लस्टर के केंद्र का प्रतिनिधित्व करने वाले सेंट्रोइड्स का एक दो-आयामी सरणी होता है।

आइरिस डेटासेट

हम लोकप्रिय Iris डेटासेट के साथ काम करेंगे, जिसमें स्किकिट-लर्न शामिल है। इस सेट का अक्सर वर्गीकरण और क्लस्टरिंग के दौरान विश्लेषण किया जाता है। हालांकि डेटासेट लेबल है, हम क्लस्टरिंग प्रदर्शित करने के लिए इन लेबल का उपयोग नहीं करेंगे। लेबल का उपयोग यह निर्धारित करने के लिए किया जाएगा कि के-औसत एल्गोरिथ्म नमूनों को कितनी अच्छी तरह से क्लस्टर करता है।

आइरिस डेटासेट एक खिलौना डेटासेट है क्योंकि इसमें केवल 150 नमूने और चार विशेषताएं हैं। डेटा सेट में तीन प्रकार के आईरिस फूलों के 50 नमूनों का वर्णन किया गया है - आइरिस सेटोसा, आइरिस वर्सिकोलर और आइरिस वर्जिनिका (नीचे फ़ोटो देखें)। नमूनों की विशेषताएं: बाहरी परिधि पालि (सेपाल लंबाई) की लंबाई, बाहरी परिधि पालि (सेपाल चौड़ाई) की चौड़ाई, आंतरिक परिधि पालि (पंखुड़ी लंबाई) की लंबाई और भीतरी परिधि पालि (पंखुड़ी चौड़ाई) की लंबाई, सेंटीमीटर में मापा जाता है।

14.7.1। Iris Dataset डाउनलोड करें

IPython को ipython --matplotlib कमांड से शुरू करें, फिर डेटा सेट के साथ बंच ऑब्जेक्ट प्राप्त करने के लिए sklearn.datasets मॉड्यूल के load_iris फ़ंक्शन का उपयोग करें:

In [1]: from sklearn.datasets import load_iris
In [2]: iris = load_iris()

एक बंच ऑब्जेक्ट की DESCR विशेषता इंगित करती है कि डेटा सेट में 150 संख्या के उदाहरण नमूने होते हैं, जिनमें से प्रत्येक में चार संख्याएं होती हैं। डेटासेट में कोई गुम मान नहीं हैं। नमूनों को क्रमशः आईरिस सेटोसा, आइरिस वर्सिकोलर और आइरिस वर्जिनिका का प्रतिनिधित्व करते हुए पूर्णांक 0, 1 और 2 के साथ वर्गीकृत किया जाता है। हम लेबल को अनदेखा करते हैं और k का अर्थ विधि का उपयोग करके नमूनों के वर्गों के निर्धारण को क्लस्टरिंग एल्गोरिदम को सौंपते हैं। मुख्य DESCR जानकारी बोल्ड में:

In [3]: print(iris.DESCR)
.. _iris_dataset:
Iris plants dataset
--------------------
**Data Set Characteristics:**
  :Number of Instances: 150 (50 in each of three classes)
  :Number of Attributes: 4 numeric, predictive attributes and the class
  :Attribute Information:
    - sepal length in cm
    - sepal width in cm
    - petal length in cm
    - petal width in cm
    - class:
      - Iris-Setosa
      - Iris-Versicolour
      - Iris-Virginica
  :Summary Statistics:
  ============== ==== ==== ======= ===== ====================
  Min Max Mean SD Class Correlation
  ============== ==== ==== ======= ===== ====================
  sepal length: 4.3 7.9 5.84 0.83 0.7826
  sepal width: 2.0 4.4 3.05 0.43 -0.4194
  petal length: 1.0 6.9 3.76 1.76 0.9490 (high!)
  petal width: 0.1 2.5 1.20 0.76 0.9565 (high!)
  ============== ==== ==== ======= ===== ====================
  :Missing Attribute Values: None
  :Class Distribution: 33.3% for each of 3 classes.
  :Creator: R.A. Fisher
  :Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
  :Date: July, 1988
...

नमूनों, सुविधाओं और लक्ष्य मानों की संख्या की जाँच करना

पैटर्न और विशेषताओं की संख्या डेटा सरणी की आकृति विशेषता में पाई जा सकती है, और लक्ष्य मान की संख्या लक्ष्य सरणी के आकार विशेषता में पाई जा सकती है:

In [4]: iris.data.shape
Out[4]: (150, 4)
In [5]: iris.target.shape
Out[5]: (150,)

सरणी target_names में सरणी के संख्यात्मक लेबल के नाम हैं। अभिव्यक्ति लक्ष्य - dtype = '<U10' का अर्थ है कि इसके तत्व अधिकतम 10 वर्णों के साथ तार हैं:

In [6]: iris.target_names
Out[6]: array(['setosa', 'versicolor', 'virginica'], dtype='<U10')

Feature_names array में डेटा ऐरे में प्रत्येक कॉलम के लिए स्ट्रिंग नामों की एक सूची है:

In [7]: iris.feature_names
Out[7]:
['sepal length (cm)',
'sepal width (cm)',
'petal length (cm)',
'petal width (cm)']

14.7.2। आइरिस डेटासेट रिसर्च: पंडों में वर्णनात्मक सांख्यिकी

आइरिस डेटासेट की जांच करने के लिए हम डेटाफ़्रेम संग्रह का उपयोग करते हैं। कैलिफ़ोर्निया हाउसिंग डेटासेट्स की तरह, हम कॉलम आउटपुट को फॉर्मेट करने के लिए पांडा पैरामीटर सेट करते हैं:

In [8]: import pandas as pd
In [9]: pd.set_option('max_columns', 5)
In [10]: pd.set_option('display.width', None)

स्तंभ नाम के रूप में feature_names सरणी की सामग्री का उपयोग करके डेटा सरणी की सामग्री के साथ एक DataFrame संग्रह बनाएं:

In [11]: iris_df = pd.DataFrame(iris.data, columns=iris.feature_names)

फिर प्रत्येक नमूने के लिए दृश्य के नाम के साथ एक कॉलम जोड़ें। निम्नलिखित स्निपेट में सूची परिवर्तन लक्ष्य नाम में संबंधित नाम के लिए खोज करने के लिए लक्ष्य सरणी में प्रत्येक मान का उपयोग करता है:

In [12]: iris_df['species'] = [iris.target_names[i] for i in iris.target]

हम कई नमूनों की पहचान करने के लिए पांडा का उपयोग करेंगे। पहले की तरह, यदि पंडास स्तंभ नाम के दाईं ओर आउटपुट करता है, तो इसका अर्थ है कि नीचे प्रदर्शित किए गए कॉलम आउटपुट में बने रहेंगे:

In [13]: iris_df.head()
Out[13]:
sepal length (cm) sepal width (cm) petal length (cm) \
0 5.1 3.5 1.4
1 4.9 3.0 1.4
2 4.7 3.2 1.3
3 4.6 3.1 1.5
4 5.0 3.6 1.4
petal width (cm) species
0 0.2 setosa
1 0.2 setosa
2 0.2 setosa
3 0.2 setosa
4 0.2 setosa

हम संख्यात्मक स्तंभों के लिए वर्णनात्मक आंकड़ों के कुछ संकेतकों की गणना करते हैं:

In [14]: pd.set_option('precision', 2)
In [15]: iris_df.describe()
Out[15]:
sepal length (cm) sepal width (cm) petal length (cm) petal width (cm)
count  150.00           150.00                150.00                  150.00
mean    5.84            3.06                  3.76                     1.20
std     0.83            0.44                  1.77                     0.76
min     4.30            2.00                  1.00                     0.10
25%     5.10            2.80                  1.60                     0.30
50%     5.80            3.00                  4.35                     1.30
75%     6.40            3.30                  5.10                     1.80
max     7.90            4.40                  6.90                     2.50

'प्रजाति' कॉलम पर वर्णन पद्धति को कॉल करने से पुष्टि होती है कि इसमें तीन अद्वितीय मूल्य हैं। हम पहले से जानते हैं कि डेटा में तीन वर्ग होते हैं, जिनमें से नमूने होते हैं, हालांकि बिना शिक्षक के मशीन लर्निंग में हमेशा ऐसा नहीं होता है।

In [16]: iris_df['species'].describe()
Out[16]:
count 150
unique 3
top setosa
freq 50
Name: species, dtype: object

14.7.3। जोड़ीदार डेटासेट विज़ुअलाइज़ेशन

हम इस डेटा सेट में विशेषताओं की कल्पना करेंगे। अपने डेटा के बारे में जानकारी निकालने का एक तरीका यह देखना है कि विशेषताएँ एक दूसरे से कैसे संबंधित हैं। डेटासेट में चार विशेषताएँ होती हैं। हम एक चित्र में तीन अन्य लोगों के साथ एक विशेषता के पत्राचार के एक आरेख का निर्माण करने में सक्षम नहीं होंगे। फिर भी, एक आरेख का निर्माण करना संभव है, जिस पर दोनों विशेषताओं के बीच पत्राचार प्रस्तुत किया जाएगा। फ्रागमेंट [20] डायग्राम की एक तालिका बनाने के लिए सीबोर्न लाइब्रेरी के पेयरप्लॉट फ़ंक्शन का उपयोग करता है जिसमें प्रत्येक फीचर को अन्य विशेषताओं में से एक में मैप किया जाता है:

In [17]: import seaborn as sns
In [18]: sns.set(font_scale=1.1)
In [19]: sns.set_style('whitegrid')
In [20]: grid = sns.pairplot(data=iris_df, vars=iris_df.columns[0:4],
  ...: hue='species')
  ...:

मुख्य तर्क:

चार्ट पर प्लॉट किए गए डेटासेट के साथ डेटाफ्रेम संग्रह;
vars - चार्ट पर प्लॉट किए गए चरों के नाम के साथ एक अनुक्रम। DataFrame संग्रह के लिए, इसमें स्तंभ नाम शामिल हैं। इस स्थिति में, DataFrame के पहले चार स्तंभों का उपयोग किया जाता है, क्रमशः बाहरी परिधि की लंबाई (चौड़ाई) और आंतरिक परिधि की लंबाई (चौड़ाई) का प्रतिनिधित्व करते हैं;
ह्यू डेटाफ़्रेम संग्रह का एक स्तंभ है जिसका उपयोग चार्ट पर प्लॉट किए गए डेटा के रंगों को निर्धारित करने के लिए किया जाता है। इस मामले में, आईरिस के प्रकार के आधार पर डेटा रंगीन है।

पिछला युग्मक कॉल निम्न 4 × 4 आरेख तालिका बनाता है:

ऊपरी बाएँ से निचले दाएं कोने तक जाने वाले विकर्ण पर आरेख इस स्तंभ में प्रदर्शित विशेषता का वितरण मानों की एक सीमा (इन बाएं से दाएं) और इन मूल्यों के साथ नमूनों की संख्या (ऊपर से नीचे) दिखाते हैं। । बाहरी परिधि की लंबाई का वितरण लें:

उच्चतम छायांकित क्षेत्र इंगित करता है कि प्रजाति आइरिस सेटोसा के लिए बाहरी पेरियनथ लोब (एक्स अक्ष के साथ) की लंबाई लगभग 4-6 सेमी है, और अधिकांश आइरिस सेटोसा नमूनों के लिए, मान इस सीमा (लगभग 5 सेमी) के मध्य में स्थित हैं। दायें दाएं छायांकित क्षेत्र इंगित करता है कि आइरिस वर्जिनिका के लिए बाहरी पेरिंथ लोब (एक्स अक्ष के साथ) की लंबाई की सीमा लगभग 4-8.5 सेमी है, और अधिकांश आइरिस वर्जिनिका नमूनों के लिए, मान 6 से 7 सेमी के बीच है।

अन्य आरेखों में, स्तंभ एक्स अक्ष के साथ विशेषता के सापेक्ष अन्य विशेषताओं के डेटा तितर बितर आरेख प्रस्तुत करता है। पहले कॉलम में, पहले तीन आरेखों में, वाई अक्ष बाहरी परिधि की चौड़ाई, आंतरिक परिधि की लंबाई और क्रमशः आंतरिक परिधि की चौड़ाई को दर्शाता है, और एक्स अक्ष बाहरी परिधि की लंबाई को दर्शाता है।

जब इस कोड को निष्पादित किया जाता है, तो स्क्रीन पर एक रंगीन छवि दिखाई देती है, जो व्यक्तिगत पात्रों के स्तर पर विभिन्न प्रकार के irises के बीच संबंध दिखाती है। दिलचस्प है, सभी आरेखों में, आइरिस सेटोसा के नीले डॉट्स स्पष्ट रूप से अन्य प्रजातियों के नारंगी और हरे रंग के डॉट्स से अलग होते हैं; इससे पता चलता है कि आइरिस सेटोसा वास्तव में एक अलग वर्ग है। आप यह भी नोटिस कर सकते हैं कि अन्य दो प्रजातियां कभी-कभी भ्रमित हो सकती हैं, जैसा कि नारंगी और हरे रंग के डॉट्स को ओवरलैप करके इंगित किया गया है। उदाहरण के लिए, बाहरी पेरिंथ लोब की चौड़ाई और लंबाई के आरेख से पता चलता है कि आइरिस वर्सिकोलर और आइरिस वर्जिनिका मिश्रण के अंक। इससे पता चलता है कि यदि केवल बाहरी परिधि लोब के माप उपलब्ध हैं, तो इन दो प्रजातियों के बीच अंतर करना मुश्किल होगा।

आउटपुट युग्मक के परिणाम एक रंग के होते हैं

यदि आप ह्यू कुंजी तर्क को हटाते हैं, तो युग्मक फ़ंक्शन सभी डेटा को आउटपुट करने के लिए केवल एक रंग का उपयोग करता है, क्योंकि यह नहीं जानता कि आउटपुट में विचारों के बीच अंतर कैसे करें:

In [21]: grid = sns.pairplot(data=iris_df, vars=iris_df.columns[0:4])

जैसा कि निम्नलिखित आरेख से देखा जा सकता है, इस मामले में, विकर्ण पर आरेख प्रकार की परवाह किए बिना, इस विशेषता के सभी मूल्यों के वितरण के साथ हिस्टोग्राम हैं। आरेखों का अध्ययन करते समय, ऐसा लग सकता है कि केवल दो क्लस्टर हैं, हालांकि हम जानते हैं कि डेटा सेट में तीन प्रकार होते हैं। यदि क्लस्टर की संख्या पहले से ज्ञात नहीं है, तो आप विषय क्षेत्र के एक विशेषज्ञ से संपर्क कर सकते हैं जो डेटा से अच्छी तरह से परिचित है। एक विशेषज्ञ यह जान सकता है कि डेटासेट में तीन प्रकार के डेटा होते हैं; डेटा के साथ मशीन सीखने का संचालन करते समय यह जानकारी काम में आ सकती है।

पेयरप्लॉट आरेख छोटी संख्याओं या विशेषताओं के सबसेट के साथ अच्छी तरह से काम करते हैं ताकि पंक्तियों और स्तंभों की संख्या सीमित हो, और अपेक्षाकृत कम संख्या में पैटर्न के साथ ताकि डेटा बिंदु दिखाई दे। जैसे ही सुविधाओं और पैटर्न की संख्या बढ़ती है, डेटा को पढ़ने के लिए डेटा तितर बितर आरेख बहुत छोटा हो जाता है। बड़े डेटासेट में, आप चार्ट पर सुविधाओं का एक सबसेट प्लॉट कर सकते हैं और, वैकल्पिक रूप से, डेटा के कुछ विचार प्राप्त करने के लिए पैटर्न का एक बेतरतीब ढंग से चयनित सबसेट।

»पुस्तक के बारे में और जानकारी प्रकाशक की वेबसाइट पर देखी और खरीदी जा सकती है

बिना शिक्षक के मशीन सीखना। पुस्तक का अंश