भाषण पहचान कार्यों में पाठ सामान्यीकरण

भाषण मान्यता (स्पीच-टू-टेक्स्ट) और जनरेशन (टेक्स्ट-टू-स्पीच) से संबंधित कार्यों को हल करते समय, यह महत्वपूर्ण है कि ट्रांसक्रिप्ट मैच से क्या कहता है - जो कि वास्तविक बोली जाने वाली भाषा है। इसका मतलब यह है कि लिखित भाषण हमारे प्रतिलेख बनने से पहले , इसे सामान्यीकृत करने की आवश्यकता है ।

दूसरे शब्दों में, पाठ को कई चरणों के माध्यम से करने की आवश्यकता है:

• शब्दों में संख्या की जगह: 1984 -> एक हजार नौ सौ अस्सी-चौथे वर्ष ;
• संक्षिप्तिकरण का स्पष्टीकरण: 2 . -> घृणा के दो मिनट ;
• लैटिन ट्रांसक्रिप्शन: Orwell-> आदि।

इस लेख में, मैं संक्षेप में रूसी भाषा Open_STT के डेटासेट में सामान्यीकरण कैसे विकसित किया गया था , किस टूल का उपयोग किया गया था और कार्य के बारे में हमारे दृष्टिकोण के बारे में।

केक पर चेरी की तरह, हमने अपने सामान्यक को सार्वजनिक डोमेन में seq2seq के आधार पर रखने का फैसला किया: जीथब का लिंक । यह उपयोग करना जितना आसान है और इसे एक विधि द्वारा कहा जाता है:

norm = Normalizer()
result = norm.norm_text(' 9  11   whiskas')

>>> '      '

कार्य के बारे में अधिक

, , ? , . , .

, , :

• 2 — (), . 2 — ;
• 2 — , 2 — ;
• 2 — , 2 — ;
• = 2/5 — , . 2/5 — — .

: - ( — ) ( — ?). , , . .

. - . , , ~20% , ~80% .

Open_STT : — . STT , - 2020 , .

. 2020 . "" — .

Sequence to Sequence

- , sequence-to-sequence (seq2seq) . , seq2seq , "" , :

• — ;
• — ;
• , — ;

attention "5 ". , "" "5", "".

seq2seq PyTorch . — . + + + , — + .

— , . ( , ) .

, :

• — Russian Text Normalization;
• -, .;
• , — , , ..

TorchScript

, , Torchscript.

TorchScript — PyTorch, Python C++.

, PyTorch :

1. , TorchScript , ;
2. torch.jit.script ( torch.jit.trace), .

, , , , . , : , .. .

, . , .

• norm.norm_string(" — — 27 38 %.")

' — — .'

• norm.norm_string(" 22 1939 ")

' '

• norm.norm_string(" «The Crying Game»")

' « »'

• norm.norm_string(" XVIII ")

' '

• norm.norm_string(" 2012 6,6 ")