अंतिम डिबगिंग एल्गोरिदम

44. अनुकूलन सत्यापन के लिए परीक्षण (अनुकूलन सत्यापन परीक्षण)

मान लीजिए आप एक भाषण मान्यता प्रणाली विकसित कर रहे हैं। सिस्टम इनपुट वॉयस रिकॉर्डिंग ए प्राप्त करता है और एक निश्चित मान ए (एस) की गणना करता है , जो इस ध्वनि क्लिप के प्रस्ताव एस को अनुकूलता का अनुमान लगाता है । उदाहरण के लिए, आप ए (एस) (पी) = पी (एस | ए) के मूल्य का अनुमान लगाने की कोशिश कर सकते हैं , सही आउटपुट प्रतिलेखन एस की पेशकश करेगा, बशर्ते कि इनपुट ध्वनि ए थी ।

आपके द्वारा चुनी गई मात्रा ए (एस) का आकलन करने का जो भी तरीका है , कार्य अंग्रेजी वाक्य एस को खोजना है , जिस पर यह मात्रा अधिकतम होगी:

इस सूत्र में "arg max" की गणना कैसे करें? आइए अंग्रेजी में 50,000 शब्द कहें, जिनमें से आप बना सकते हैं

50000^{N}

$50000^N$

N — , , .

, , S, () A(S). « », K . ( , « »). , S, A(S).

, A -, « ». : « ».
:

. ( ) S, A(S).
( ). A(S) = P(S|A) . , A(S) « » .

, - . . , A(S).

, ; A(S). , , .
?

(« »), S_out. (« »), S*. , , (The Optimization Verification test): Score_A(S*) Score_A(S_out), Score_A(S*) Score_A(S_out).

1: Score_A(S*) > Score_A(S_out)

S*, , S_out. , S_out, S*. , S, A(S) . (The Optimization Verification test) , , . , « » (beam search).

2: Score_A(S*) ≤ Score_A(S_out).

Score_A(.): S* S_out. (The Optimization Verification test) . , , Score_A(S) S.

. (The Optimization Verification test) , . , Score_A(S*) > Score_A(S_out). , , , . , Score_A(S*) ≤ Score_A(S_out) Score_A(.).

, , 95% Score_A(.), 5% - . , , ~ 5% . , Score_A(.).

45. (The Optimization Verification test).

(the Optimization Verification test) , , x , , x(y), , y x , arg max_yScore_x(y), , . x=A, y=S.

, y* — «» , y_out. Score_x(y*) > Score_x(y_out). , . , . , Score_x(y).

. , . C Score_C(E) E. , Score_C(E) = P(E|C), E, , C.

, , .

, E_out E*. , Score_C(E*) > Score_C(E_out). , Score_C(.) E* E_out; , . , Score_C(.).

« » : (approximate scoring function) Score_x(.), (approximate maximization algorithm). , (The Optimization Verification test) .

46.

, , . , , .

«». , . -. , , .

« » R(.), T. , T , R(T) = -1000 — «» . T, , R(T) , , . R(.), , T. , , , . — .

, R(T) , , , max_TR(T). .
, R(.) , . , , - — .

— , , , , max_TR(T) , , ?
(Optimization Verification test), T_human, , -, T_out . , T_human T_out. : , R(T_human) > R(T_out)?

1: , R(.) , T_human T_out. , , T_out, . , .

2: : R(T_human) ≤ R(T_out). , R(.) T_human , T_out, , T_human . R(.), .

«» Score_x(.) . x, Score(.). Score(T)=R(T), (optimization algorithm) , , T.

इस और पहले के उदाहरणों के बीच एक अंतर यह है कि एल्गोरिथ्म की गुणवत्ता की तुलना "इष्टतम" परिणाम के साथ नहीं की जाती है, बल्कि मानव प्रक्षेपवक्र टी _{मानव के साथ की जाती है} । हमने मान लिया कि टी _मानव काफी अच्छा है, भले ही वह इष्टतम न हो। सामान्य तौर पर, जब तक आपके पास कुछ परिणाम y * (इस उदाहरण में, T _मानव ) है जो सिस्टम की गुणवत्ता से अधिक है - भले ही यह "इष्टतम" न हो, अनुकूलन सत्यापन परीक्षण यह संकेत देगा कि अधिक आशाजनक: अनुकूलन एल्गोरिथ्म या मूल्यांकन समारोह में सुधार करने के लिए।

विस्तार

एंड्रयू अन की पुस्तक का अनुवाद, पैशन फॉर मशीन लर्निंग, अध्याय 44 - 46

अंतिम डिबगिंग एल्गोरिदम

44. अनुकूलन सत्यापन के लिए परीक्षण (अनुकूलन सत्यापन परीक्षण)

45. (The Optimization Verification test).

46.

More articles: