capítulos anteriores

Algoritmos de depuración final

44. Prueba de verificación de optimización (prueba de verificación de optimización)

Supongamos que está desarrollando un sistema de reconocimiento de voz. El sistema recibe la voz de entrada de grabación A y calcula un cierto valor A (S) , la estimación de la verosimilitud de que este clip de sonido corresponde propuesta S . Por ejemplo, se puede tratar de estimar el valor de A (S) = P (el S | A) , la probabilidad de que la transcripción correcta de salida ofrecerá S, a condición de que el sonido de entrada era una .

Cualquiera sea el método de estimación de la cantidad A (S) que elija, la tarea es encontrar la oración en inglés S en la que esta cantidad sea máxima:

¿Cómo abordar el cálculo de "arg max" en esta fórmula? Digamos 50,000 palabras en inglés, de las cuales puedes hacer

N — , , .

, , S, () A(S). « », K . ( , « »). , S, A(S).

, A -, « ». : « ».
:

1. . ( ) S, A(S).
2. ( ). A(S) = P(S|A) . , A(S) « » .

, - . . , A(S).

, ; A(S). , , .
?

(« »), S_out. (« »), S*. , , (The Optimization Verification test): Score_A(S*) Score_A(S_out), Score_A(S*) Score_A(S_out).

1: Score_A(S*) > Score_A(S_out)

S*, , S_out. , S_out, S*. , S, A(S) . (The Optimization Verification test) , , . , « » (beam search).

2: Score_A(S*) ≤ Score_A(S_out).

Score_A(.): S* S_out. (The Optimization Verification test) . , , Score_A(S) S.

. (The Optimization Verification test) , . , Score_A(S*) > Score_A(S_out). , , , . , Score_A(S*) ≤ Score_A(S_out) Score_A(.).

, , 95% Score_A(.), 5% - . , , ~ 5% . , Score_A(.).

45. (The Optimization Verification test).

(the Optimization Verification test) , , x , , x(y), , y x , arg max_yScore_x(y), , . x=A, y=S.

, y* — «» , y_out. Score_x(y*) > Score_x(y_out). , . , . , Score_x(y).

. , . C Score_C(E) E. , Score_C(E) = P(E|C), E, , C.

, , .

, E_out E*. , Score_C(E*) > Score_C(E_out). , Score_C(.) E* E_out; , . , Score_C(.).

« » : (approximate scoring function) Score_x(.), (approximate maximization algorithm). , (The Optimization Verification test) .

46.

, , . , , .

«». , . -. , , .

« » R(.), T. , T , R(T) = -1000 — «» . T, , R(T) , , . R(.), , T. , , , . — .

, R(T) , , , max_TR(T). .
, R(.) , . , , - — .

— , , , , max_TR(T) , , ?
(Optimization Verification test), T_human, , -, T_out . , T_human T_out. : , R(T_human) > R(T_out)?

1: , R(.) , T_human T_out. , , T_out, . , .

2: : R(T_human) ≤ R(T_out). , R(.) T_human , T_out, , T_human . R(.), .

«» Score_x(.) . x, Score(.). Score(T)=R(T), (optimization algorithm) , , T.

Una de las diferencias entre este y los ejemplos anteriores es que la calidad del algoritmo no se compara con el resultado "óptimo", sino con la trayectoria _humana T _humano . Asumimos que T _humano es lo suficientemente bueno, incluso si no es óptimo. En general, siempre que tenga algún resultado y * (en este ejemplo, T _humano ) que exceda la calidad del sistema, incluso si no es "óptimo", la prueba de verificación de optimización indicará que Más prometedor: para mejorar el algoritmo de optimización o la función de evaluación.

continuación