स्वचालित भाषण मान्यता (एसटीटी या एएसआर) ने सुधार में एक लंबा सफर तय किया है और इसका व्यापक इतिहास है। पारंपरिक ज्ञान यह है कि केवल विशाल निगम कम या ज्यादा "सामान्य" समाधान बनाने में सक्षम हैं, जो डेटा स्रोत (विभिन्न आवाज़ें, लहजे, डोमेन) की परवाह किए बिना समझदार मैट्रिक्स दिखाएगा। इस गलत धारणा के कुछ मुख्य कारण इस प्रकार हैं:

• कंप्यूटिंग शक्ति के लिए उच्च आवश्यकताएं;
• प्रशिक्षण के लिए आवश्यक बड़ी मात्रा में डेटा;
• प्रकाशन आमतौर पर केवल तथाकथित अत्याधुनिक समाधानों के बारे में लिखते हैं, जिनमें उच्च गुणवत्ता वाले संकेतक होते हैं, लेकिन बिल्कुल अव्यावहारिक हैं।

इस लेख में, हम कुछ गलत धारणाओं को दूर करेंगे और भाषण मान्यता के लिए "विलक्षणता" के बिंदु को थोड़ा समझने की कोशिश करेंगे। अर्थात्:

• , , NVIDIA GeForce 1080 Ti;
• Open STT 20 000 ;
• , STT .

3 — , .

• Open STT
• 
  
  • ,
• 
  
• STT
  
• 
  

PyTorch, — Deep Speech 2.

:

• GPU;
• . Python PyTorch , ;
• . ;

, PyTorch "" , , (, C++ JAVA).

Open STT

20 000 . (~90%), .

, , , “” (. Google, Baidu, Facebook). , STT “” “”.

, , STT, :

• , ;
• ;
• ;
• .

.

,

Deep Speech 2 (2015) :

WER (word error rate, ) . : 9- 2 2D- 7 68 . , Deep Speech 2.

: , . , . STT LibriSpeech ASR (LibriSpeech) .

, Google, Facebook, Baidu 10 000 — 100 000 . , , Facebook, , , , .

. 1 2 10 ( , , STT ).

, (LibriSpeech), , - . open-source , Google, . , , STT-. , , Common Voice, .

( ) — . , STT, /, PyTorch TensorFlow. , , .

/ ( ), , :

• ( );
• (end-to-end , , ) ;
• ( — 10GB- );
• LibriSpeech, , ;
• STT , , , , ;
• , PR, “ ” “”. , , , , , ( , , , );
• - , , , , , ;

, FairSeq EspNet, , . , ?

LibriSpeech, 8 GPU US $10 000 .

— . , .

, - "" Common Voice Mozilla.

ML: - (state-of-the-art, SOTA) , .

, , , , .

, c “ ” “, ” .

, :

• - , (. Goodhart's Law);
• “” , ( , );
• , ;
• , ;
• , 95% , . . “ ” (“publish or perish”), , , , ;

• , , , , . , , , . , .

  
  

  , ML :

  
  
  • / / ;
  • ;
  • .
  
  

, :

• -;
• semi-supervised unsupervised (wav2vec, STT-TTS) , , ;
• end-to-end (LibriSpeech), , 1000 ( LibriSpeech);
• MFCC . . , STFT. , - SincNet.

, , , . :

• , ;
• open-source ( , ).

STT

STT :

• ;
• ;
• ;
• , 2-4 1080Ti.

— "" . , ( ). , — .

, , — . — . .

, AWS NVIDIA Tesla GPU, , 5-10 GPU.

:

• , [ ] x [ ]. , , : 1) 2) ? , , ;

  
  

  , .

  
  

  

  
  

  , "L-"

  
  

• — . , , "". ;

  
  

• . ) ; ) , ;

  
  

• , , . , , Mobilenet/EfficientNet/FBNet ;

  
  

• , ML : 1) : , , ; 2) Ceteris paribus: , , .. , ;

  
  

• , , ( ) , . 10 20 , , , "" .

  
  

( ):

• Ceteris paribus: , , . , , , ;
• Open STT v0.5-beta;
• , ( " " I/O, , ).

— . — . "" — Wav2Letter. DeepSpeech , 2-3 . GPU — , . , .

Deep Speech 2 Pytorch. LSTM GRU , . , . , , :

• ~3-5 ;
• 5-10 ;
• 1080Ti .

№1: .

№2: .

№3: Byte-Pair-Encoding .

№4: .

№5: .

№6: .

№7. .

:

• , ;
• . ;
• / . "" ;
• .

, ( ) , , . , , .

, :

• . — . , ;
• (). . , ;
• . , , ;
• . , , ;
• . , , ;
• . , , ;
• YouTube. , , . — ;
• (e-commerce). , ;
• "Yellow pages". . , , ;
• . - . , "" . , ;
• (). , , , .

:

• Tinkoff ( , );
• (, , , , );
• Yandex SpeechKit;
• Google;
• Kaldi 0.6 / Kaldi 0.7 ( , vosk-api);
• wit.ai;
• stt.ai;
• Azure;
• Speechmatics;
• Voisi;

— Word error rate (WER).

. ("" -> "1-"), . , WER ~1 .

2019 2020 . , . WER ~1 . , , .

लेख पहले से ही बहुत बड़ा है। यदि आप प्रत्येक डोमेन पर अधिक विस्तृत कार्यप्रणाली और प्रत्येक सिस्टम की स्थिति में रुचि रखते हैं, तो आपको यहां सिस्टम तुलना का एक विस्तारित संस्करण मिलेगा , और यहां तुलना पद्धति का वर्णन होगा ।