EM एल्गोरिथ्म एक उपयोगी डेटा मॉडलिंग टूल है जब भेदभाव के माध्यम से "माथे पर" की संभावना को अधिकतम करना संभव नहीं है। क्लस्टरिंग उन कार्यों में से एक है जहां यह एल्गोरिथ्म बचाव के लिए आता है। आलेख क्लस्टरिंग के लिए EM एल्गोरिथ्म का एक सामान्य निष्कर्ष प्रदान करता है।

कार्य

कई बिंदु $X= \{ x_i, i\in1..N \}$ में टूट की जरूरत है $K$ समूहों।

समाधान का विचार

हम समूहों के बीच बिंदुओं के वितरण के एक संभाव्य मॉडल की रचना करते हैं। आइए हम उन मॉडल मापदंडों को खोजें जिनके लिए सेट का अवलोकन करने की संभावना है $X$ ज्यादा से ज्यादा। इन मापदंडों के साथ, हम यह निर्धारित करने में सक्षम होंगे कि कौन सा क्लस्टर सबसे अधिक संभावित बिंदु है। $x$ ।

डेटा मॉडल

हम पाठ्यक्रम से उधार ली गई अंकन की एक श्रृंखला का परिचय देते हैं ।

$p(x)$ - किसी बिंदु के अवलोकन की संभावना $x$ ।

$p(X) = \prod_{i=1}^{N}p(x_i)$ - कई के अवलोकन की संभावना $X$ ।

$p_j (x) = \varphi(x; \theta_j)$ - एक बिंदु को पूरा करने की संभावना $x$ एक क्लस्टर में $j$ । यह वितरण एक पैरामीटर (या पैरामीटर वेक्टर) द्वारा मानकीकृत है $\theta_j$ क्लस्टर के लिए विशिष्ट $j$ ।

$w_j$ - क्लस्टर संभावना $j$ , अर्थात। संभावना है कि एक यादृच्छिक रूप से चयनित बिंदु एक क्लस्टर से संबंधित है $j$ । एक बेतरतीब ढंग से चयनित बिंदु बिल्कुल एक क्लस्टर को संदर्भित करता है, इसलिए $\sum_{j=1}^K w_j = 1$ ।

इसके बाद के संस्करण की परिभाषाएँ इस प्रकार हैं $p(x) = \sum_{j=1}^K w_j p_j(x) = \sum_{j=1}^K w_j \varphi(x; \theta_j)$ , अर्थात। बिंदुओं का वितरण क्लस्टर वितरण के मिश्रण के रूप में किया जाता है।

नतीजतन, अंक के सेट का संभाव्य मॉडल $X$ :

p (X) = \prod_{i = 1}^{N} (\sum_{j = 1}^{K} w_{j} φ (x_{i}; θ_{j}))

$p(X) = \prod_{i=1}^{N}\left(\sum_{j=1}^K w_j \varphi(x_i; \theta_j)\right)$

पैरामीटर खोज

मॉडल पैरामीटर $w$ तथा $\theta$ , जैसा कि ऊपर चर्चा की गई है, हमारे डेटा के लिए अधिकतम संभावना प्रदान करनी चाहिए:

w, θ = argmax p (X) = argmax \log p (X) = {argmax}_{w, θ} \sum_{i = 1}^{N} \log (\sum_{j = 1}^{K} w_{j} φ (x_{i}; θ_{j}))

$w, \theta = \textrm{argmax} \ p(X) = \textrm{argmax} \ \log p(X) = \textrm{argmax}_{w, \theta} \sum_{i=1}^{N} \log \left(\sum_{j=1}^K w_j \varphi(x_i; \theta_j)\right)$

लघुगणक चिह्न के तहत योग समस्या को विश्लेषणात्मक रूप से हल करने के साथ हस्तक्षेप करता है। सीमा $\sum_{j=1}^K w_j = 1$ (, TensorFlow PyTorch).

L :=   log p(X)
while log p(X)  :
     L  log p(X)
    w, theta = argmax L

, $\log p(X)$ , . $\mathcal{L}$ :

$\mathcal{L}$ : "" , $\log p(X)$ .
$w$ $\theta$ , $\mathcal{L}$ .

, "" , .

$\mathcal{L}$

\log p (X) = \sum_{i = 1}^{N} \log (\sum_{j = 1}^{K} w_{j} φ (x_{i}; θ_{j}))

$\log p(X) = \sum_{i=1}^{N} \log \left(\sum_{j=1}^K w_j \varphi(x_i; \theta_j)\right)$

. $g_i$ $x_i$ :

g_{i} (j) \equiv p (быть в кластере j | это точка i)

$g_i(j) \equiv p(\textrm{ } \ j| \textrm{ } \ i)$

\sum_{i = 1}^{N} \log (\sum_{j = 1}^{K} w_{j} φ (x_{i}; θ_{j})) = \sum_{i = 1}^{N} \log (\sum_{j = 1}^{K} \frac{g_{i} (j)}{g_{i} (j)} w_{j} φ (x_{i}; θ_{j}))

$\sum_{i=1}^{N} \log \left(\sum_{j=1}^K w_j \varphi(x_i; \theta_j)\right) =\sum_{i=1}^{N} \log \left(\sum_{j=1}^K \frac{ g_i(j) }{ g_i(j) } w_j \varphi(x_i; \theta_j)\right)$

. :

\log (\sum_{i} q_{i} x_{i}) \geq \sum_{i} q_{i} \log x_{i}

$\log \left(\sum_i q_i x_i \right) \geq \sum_i q_i \log x_i$

, $q_i$ $1$ .

$g_i(j)$ : $\sum_{j=1}^K g_i(j) = 1$ . :

\sum_{i = 1}^{N} \log (\sum_{j = 1}^{K} \frac{g_{i} (j)}{g_{i} (j)} w_{j} φ (x_{i}; θ_{j})) \geq \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log (\frac{w_{j} φ (x_{i}; θ_{j})}{g_{i} (j)})

$\sum_{i=1}^{N} \log \left(\sum_{j=1}^K \frac{ g_i(j) }{ g_i(j) } w_j \varphi(x_i; \theta_j)\right) \geq \sum_{i=1}^{N} \sum_{j=1}^K g_i(j) \log \left(\frac{ w_j \varphi(x_i; \theta_j) }{ g_i(j) }\right)$

L (g, w, θ) \equiv \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log (\frac{w_{j} φ (x_{i}; θ_{j})}{g_{i} (j)})

$\mathcal{L}(g, w, \theta) \equiv \sum_{i=1}^{N} \sum_{j=1}^K g_i(j) \log \left(\frac{ w_j \varphi(x_i; \theta_j) }{ g_i(j) }\right)$

$\mathcal{L}$ (E-)

$\mathcal{L}(g, w, \theta)$ $\log p(X)$ . $w$ $\theta$ , $\mathcal{L}$ $g$ .

$\log p(X)$ $\mathcal{L}$ , , :

\log p (X) - L (g, w, θ) = \sum_{i = 1}^{N} \log p (x_{i}) - \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log (\frac{w_{j} φ (x_{i}; θ_{j})}{g_{i} (j)}) =

$\log p(X) - \mathcal{L}(g, w, \theta) = \sum_{i=1}^N \log p(x_i) - \sum_{i=1}^{N} \sum_{j=1}^K g_i(j) \log \left(\frac{ w_j \varphi(x_i; \theta_j) }{ g_i(j) }\right)=$

= \sum_{i = 1}^{N} (\log p (x_{i}) \sum_{j = 1}^{K} g_{i} (j) - \sum_{j = 1}^{K} g_{i} (j) \log \frac{w_{j} φ (x_{i}; θ_{j})}{g_{i} (j)}) = \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log \frac{p (x_{i}) g_{i} (j)}{w_{j} φ (x_{i}; θ_{j})}

$= \sum_{i=1}^N \left(\log p(x_i) \sum_{j=1}^K g_i(j) - \sum_{j=1}^K g_i(j) \log \frac{w_j \varphi(x_i; \theta_j)}{g_i(j)} \right) = \sum_{i=1}^N \sum_{j=1}^K g_i(j) \log \frac{p(x_i) g_i(j)}{w_j \varphi(x_i; \theta_j)}$

, $j$ :

p (j | x_{i}) = \frac{φ (x_{i}; θ_{j}) w_{j}}{p (x_{i})}

$p(j|x_i) = \frac{\varphi(x_i; \theta_j) w_j}{p(x_i)}$

\sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log \frac{p (x_{i}) g_{i} (j)}{w_{j} φ (x_{i}; θ_{j})} = \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log \frac{g_{i} (j)}{p (j | x_{i})} = \sum_{i = 1}^{N} E_{g_{i}} \frac{g_{i}}{p (j | x_{i})}

$\sum_{i=1}^N \sum_{j=1}^K g_i(j) \log \frac{p(x_i) g_i(j)}{w_j \varphi(x_i; \theta_j)} = \sum_{i=1}^N \sum_{j=1}^K g_i(j) \log \frac{g_i(j)}{p(j|x_i)}= \sum_{i=1}^N \mathbb{E}_{g_i} \frac{g_{i}}{p(j|x_i)}$

: . - ( KL-) "" .

, $\log p(X)$ $\mathcal{L}$ — KL-:

\log p (X) - L (g, w, θ) = \sum_{i = 1}^{N} K L (g_{i} | | p (j | x_{i}))

$\log p(X) - \mathcal{L}(g, w, \theta) = \sum_{i=1}^N KL(g_i || p(j|x_i))$

KL- , , — KL- . : KL- , — . $g_i(j)$ $p(j|x_i)$ :

g_{i} (j) = p (j | x_{i}) = \frac{w_{j} φ (x_{i}; θ_{j})}{p (x_{i})}

$g_i(j) = p(j|x_i) = \frac{w_j \varphi(x_i; \theta_j)}{p(x_i)}$

$g_i(j)$ $\mathcal{L}$ $\log p(X)$ .

$\mathcal{L}$ (M-)

: . :

$g$ तय;
मापदंडों $w$ तथा $\theta$ अनुकूलन के अधीन।

अनुकूलन से पहले सरलीकरण करें $\mathcal{L}$ :

L (g, θ) = \sum_{i = 1}^{N} (\sum_{j = 1}^{K} g_{i} (j) \log \frac{w_{j} p (x_{i}; θ_{j})}{g_{i} (j)}) =

$\mathcal{L}(g, \theta) = \sum_{i=1}^N\left( \sum_{j=1}^K g_i(j) \log \frac{w_j p(x_i; \theta_j)}{g_i(j)} \right) =$

= \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log (w_{j} p (x_{i}; θ_{j})) - \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log g_{i} (j)

$= \sum_{i=1}^N \sum_{j=1}^K g_i(j) \log \left( w_j p(x_i; \theta_j) \right) -\sum_{i=1}^N \sum_{j=1}^K g_i(j) \log g_i(j)$

दूसरा शब्द मापदंडों से स्वतंत्र है $w$ तथा $\theta$ इसलिए, हम आगे केवल पहले कार्यकाल का अनुकूलन करेंगे:

w, θ = {argmax}_{w, θ} \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log (w_{j} φ (x_{i}; θ_{j}))

$w, \theta = \textrm{argmax}_{w, \theta}\sum_{i=1}^N \sum_{j=1}^K g_i(j) \log \left( w_j \varphi(x_i; \theta_j) \right)$

हम लघुगणक के योग में उत्पाद लघुगणक को हटाते हैं और प्राप्त करते हैं:

w = {argmax}_{w} \sum_{i = 1}^{N} \sum_{j = 1}^{K} g_{i} (j) \log w_{j}, при условии \sum_{j = 1} w_{j} = 1

$w = \textrm{argmax}_{w}\sum_{i=1}^N \sum_{j=1}^K g_i(j) \log w_j, \textrm{ }\sum_{j=1} w_j = 1$

θ_{j} = argmax \sum_{i = 1}^{N} g_{i} (j) \log φ (x_{i}; θ_{j})

$\theta_j = \textrm{argmax} \sum_{i=1}^N g_i(j) \log \varphi (x_i; \theta_j)$

पहली समस्या लैगरेंज गुणक विधि द्वारा हल की गई है। परिणाम:

w_{j} = \frac{1}{N} \sum_{i = 1}^{N} g_{i} (j)

$w_j = \frac{1}{N} \sum_{i=1}^N g_i(j)$

दूसरी समस्या का समाधान विशिष्ट प्रकार के क्लस्टर वितरण पर निर्भर करता है $\varphi (x_i; \theta_j)$ । जैसा कि आप देख सकते हैं, इसके समाधान के लिए, आपको अब लघुगणक के संकेत के तहत राशि का सामना नहीं करना होगा, इसलिए, उदाहरण के लिए, गौसियन वितरण के लिए, समाधान को विश्लेषणात्मक रूप से लिखा जा सकता है।

संपूर्ण

हमने क्लस्टरिंग के लिए EM एल्गोरिथ्म के पुनरावृत्तियों का सार पाया, और देखा कि कैसे उनके सूत्र सामान्य तरीके से निकाले जाते हैं।

क्लस्टरिंग के लिए EM एल्गोरिथ्म

कार्य

समाधान का विचार

डेटा मॉडल

पैरामीटर खोज

L\mathcal{L}

L\mathcal{L}(E-)

L\mathcal{L}(M-)

संपूर्ण

More articles:

$\mathcal{L}$

$\mathcal{L}$ (E-)

$\mathcal{L}$ (M-)