स्तरीकरण, या डेटा पर भरोसा करना कैसे सीखें

बिंदुओं के इन दो सेटों को देखें और सोचें: कौन सा आपको अधिक "यादृच्छिक" लगता है? बाईं आकृति में वितरण स्पष्ट रूप से असमान है। ऐसे स्थान हैं जहां अंक घनीभूत होते हैं, और ऐसे स्थान भी होते हैं जिनमें लगभग कोई बिंदु नहीं होते हैं: इस वजह से, यह भी लग सकता है कि बाएं चार्ट गहरा है। सही आंकड़े में, स्थानीय संघनन और दुर्लभ वस्तुएं भी मौजूद हैं, लेकिन वे कम विशिष्ट हैं।

इस बीच, यह बाएं ग्राफ था जिसे "ईमानदार" यादृच्छिक संख्या जनरेटर का उपयोग करके प्राप्त किया गया था। सही ग्राफ में पूरी तरह से यादृच्छिक बिंदु शामिल हैं; लेकिन इन बिंदुओं को उत्पन्न किया जाता है ताकि सभी छोटे वर्गों में समान अंक हों।

स्तरीकरण सामान्य आबादी से वस्तुओं का एक सबसेट चुनने का एक तरीका है, जो सबसेट (स्ट्रेटा) में विभाजित है। स्तरीकरण के दौरान, वस्तुओं को इस तरह से चुना जाता है कि अंतिम नमूना स्ट्रैट के आकार के अनुपात को बनाए रखता है (या नियंत्रित तरीके सेइन संबंधों का उल्लंघन किया जाता है, खंड 3 देखें)। कहें, माना उदाहरण में, सामान्य आबादी एक इकाई वर्ग के अंदर के बिंदु हैं; स्ट्रेट छोटे वर्गों के अंदर बिंदुओं के समूह हैं।

. , . , - .

1. :

, , — , 0.4. . -.

() :

import random

random.seed(100)

for i in range(500):
    x, y = random.random(), random.random()
    print x, y

, : , ; . , , , .

import random

random.seed(100)

cellsCount = 10
cellId = 0

for i in range(500):
    cellVerticalIdx = (cellId / cellsCount) % cellsCount
    cellHorizontalIdx = cellId % cellsCount
    cellId += 1

    left = float(cellVerticalIdx + 0) / cellsCount
    right = float(cellVerticalIdx + 1) / cellsCount

    top = float(cellHorizontalIdx + 1) / cellsCount
    bottom = float(cellHorizontalIdx + 0) / cellsCount

    x, y = random.random(), random.random()
    x = left + x * (right - left)
    y = bottom + y * (top - bottom)

    print x, y

— . , — .

, , , .

, . ! , , , .

2. -

.

: , . , , . , .

: , .. . , , . , . , , — .

. :

. , . , «» , , . , , !

, , -, .. , . ( ), :

, , , . , , , , .

3.

-, -: , , , . A/B- , , , 0.5% , .

( , , ..), , .

Online Stratified Sampling: Evaluating Classifiers at Web-Scale Microsoft Research, .

, $$$N$, $$$n$$$$p$$$$C$.

$$$K$— . $$$k$- $$$N_k$$$$\hat{p}_k$$$$C$.

$$

$$\hat{p}=\sum_{k=1}^{K}{\frac{N_k}{N}\hat{p}_k}$$

:

$$

$$var(\hat{p})=\sum_{k=1}^{K}{\Big(\frac{N_k}{N}\Big)^2var(\hat{p}_k)}$$

, !

$$$n$, $$$n_k$$$$k$- :

$$

$$n_k \propto N_k \cdot \sqrt{var(p_k)}$$

, . , .

, : . , - , , .

, , . - SimilarWeb Alexa - , . , . , , .

: ? ? ?

यदि कोई उत्तर नहीं है या वे असंतोषजनक हैं, तो यह अच्छी तरह से हो सकता है कि डेटा आपको धोखा देगा।