🧗🏽 👨‍🚀 🧒🏻 رسم خطاب: الفم التلقائي للبرمجيات ⌨️ 💝 🍴

اختتمت مقالة العام الماضي "نرسم الصوت" من خلال التعرف على: "هل من الممكن رسم الصوت من ورقة فارغة دون تتبع مخطط طيفي للتسجيل الصوتي؟ بصراحة ، لم أنجح ". لكنني علمت مؤخرًا عن SAM - الذي تم إصداره في عام 1982 من قبل Ask Ask Software ، وهو أول برنامج لتوليف الكلام على الكمبيوتر الشخصي تجاريًا. في منتصف -2000 ، أخذ المثمنون التجريبيون الألمانيان توبياس كورماخر وسيباستيان ماكي قائمة SAM مجمعة للكومودور 64 وحولوها إلى كود C غير قابل للقراءة ، ولكن قابل للتطبيق ؛ ثم في عام 2014 ، حاول البريطاني Vidar Hokstad إدخال رمز C في شكل قابل للقراءة - مع إعطاء المتغيرات أسماء ذات معنى واستبدالها يدويًاgotoعلى الحلقات والفروع. وأخيرًا ، في عام 2017 ، أعاد كريستيان شيفلر الألماني كتابة الرمز من C إلى JavaScript. يمكنك تجربته عمليًا كـ "صندوق أسود" على discordier.imtqy.com/sam .

في رأيي ، يعد مُركب الكلام جافا سكريبت البدائي هو النموذج التجريبي الأكثر ملاءمة لأولئك الذين يرغبون في فهم كيفية عمل تركيب الكلام بشكل عام. شوكة SAM الخاصة بي مع رمز وتعليقات نظيفة بشكل كبير متاحة على github.com/tyomitch/sam . لسوء الحظ ، تمكن المؤلفون السابقون من تلاشي الاهتمام بـ SAM ، وهم الآن ليسوا على مستوى مهمة تحليل طلب السحب لمشروع هواية منذ سنوات عديدة.

يتكون SAM من أربعة مكونات وظيفية:

يقوم المُترجم بترجمة النص الإنجليزي إلى تسجيل صوتي: على سبيل المثال ، "A LITTLE TOO LOW" (مثال من البرنامج التجريبي المرتبط بـ SAM ) يتحول إلى "AH LIHTUL TUW5 LOW".
يحوّل المحلل اللغوي سجلًا صوتيًا إلى صوتي: من "AH LIHTUL TUW5 LOW" يتضح " AH, ,L,IH,DX,AX,LX, ,T,*,*,UX,WX, ,L,OW,WX". لكل خلفية معروضة ، يقوم المحلل اللغوي أيضًا بتعيين المدة والنغمة.
يقوم Renderer ببناء مجموعة من الترددات والسعات والخصائص الصوتية الأخرى من التسجيل الصوتي ؛
المكون الأخير (الوظيفة ProcessFrames) المجهول يحول مجموعة من الترددات والسعات إلى دفق PCM لإخراج الصوت.

في هذه المقالة ، سأقوم بتحليل جميع المكونات الأربعة بدورها.

القارئ

تم إرفاق القارئ بـ SAM كبرنامج منفصل: ذكر المبدعون أن قواعد نطق القارئ 469 المنصوص عليها في القارئ تنسخ حوالي 90 ٪ من الكلمات الإنجليزية بشكل صحيح. وهذا يعني أن نسخ كل كلمة من الكلمات العاشرة يحتاج إلى تحرير يدوي قبل إرساله إلى مدخلات المكونات التالية.

تستخدم SAM نظام النسخ الخاص بها ، حيث يتم الإشارة إلى الصوتيات الإنجليزية بأحرف منفصلة من مجموعة [A-Z/]أو في أزواج من اثنين من هذه الأحرف:

_صوت	_تعيين	_صوت	_تعيين	_صوت	_تعيين	_صوت	_تعيين
/ ب /	`B`	/ ص /	`P`	/ الخامس /	`V`	/ F /	`F`
/ د /	`D`	/ ر /	`T`	/ ض /	`Z`	/ س /	`S`
/ د /	`J`	/ tʃ /	`CH`	/ ʒ /	`ZH`	/ ʃ /	`SH`
/ ز /	`G`	/ ك /	`K`	/ ح /	`/H`	/ د /	`DH`
/ م /	`M`	/ ن /	`N`	/ ن /	`NX`	/ θ /	`TH`
/ لتر /	`L`	/ ص /	`R`	/ ي /	`Y`	/ ث /	`W`
/ و /	`AE`	/ ɛ /	`EH`	/ ɪ /	`IH`	/ أنا /	`IY`
/ ʌ /	`AH`	/ ɔ /	`AO`	/ ʊ /	`UH`	/ ش /	`UX`
/ ɒ /	`OH`	/ ɑ /	`AA`	/ ə /	`AX`	/ ɜ /	`ER`
/ eɪ /	`EY`	/ aɪ /	`AY`	/ ɔɪ /	`OY`	/ aʊ /	`AW`
/ س / /	`OW`	[l̩]	`UL`	[م]	`UM`	[ن]	`UN`

بالإضافة إلى الصوتيات ، يتم استخدام الأرقام من 1 إلى 8 في نسخ SAM للإشارة إلى الإجهاد والنغمة : 1 تعني الإجهاد "العاطفي للغاية" ، 4 تعني الإجهاد الطبيعي ، 6 تعني نغمة محايدة ، 8 تعني "انخفاض شديد في النغمة".

يتم ترتيب القارئ بكل بساطة: يتم تطبيق القواعد الحساسة للسياق من القائمة بالتناوب على سطر الإدخال ، على سبيل المثال ، القاعدة " (IR)#=AYR" تستبدل النص ⟨ir⟩ قبل الحرف المتحرك بـ / aɪr /؛ .(S) =Zتستبدل القاعدة " " ⟨s⟩ بين الساكن المعبر عنه والمسافة (نهاية الكلمة) بـ / z /؛ (U)^^=AH5تستبدل القاعدة " " ⟨u⟩ قبل حرفين ساكنين متتاليين بـ / ʌ / ، وتجعل المقاطع مضغوطة. من المهم أن نلاحظ أنه في العديد من الكلمات ، لا يقرأ Reciter أي حرف متحرك ، وفي بعض الحالات يلاحظ العديد من حروف العلة في وقت واحد: على سبيل المثال ،تتحول كلمة "استفزاز" إلى "PRUW4VOW5KIHNX"، أي / ˈpruˈvoʊkɪŋ /. سيلاحظ القارئ اليقظ أن الإجهاد غير الضروري ليس الخطأ الوحيد في هذا النسخ.

لقد قررت أن النسخ هو الجزء الأقل إثارة للاهتمام من مُركِّب الكلام ؛ وبالنظر إلى الجودة المنخفضة نسبيًا للنسخ في إخراج المقرئ ، فقد قررت هناك العديد من خدمات الإنترنت المتاحة مجانًا لنسخ مقتطفات من النصوص الإنجليزية ؛ بدلاً من القواعد الإرشادية ، تستخدم هذه الخدمات قواميس كبيرة إلى حد ما. في تجربتي ، أفضل جودة للنسخ هي tophonetics.com و photransedit.com؛ في الوقت نفسه، والثانية لديها عدد من العيوب: يستخدم التدوين صوت قياسي ليس تماما، الملاحظات تؤكد حتى في الكلمات أحادي، وما هو أكثر غير مريح - هو مكتوب في ASP.NET وتتطلب القيم الصحيحة في طلبات الوظائف __VIEWSTATEو __EVENTVALIDATION، مما يعقد استخدامه من طرف ثالث مواقع. لذلك ، في عرضي لجهاز SAM والتشغيل ، المتاح على tyomitch.imtqy.com ، استخدمت التحويل الصوتي من خلال https://cors-anywhere.herokuapp.com/https://tophonetics.com/

محلل

على عكس Reciter ، التي يطلق عليها منشئو SAM ، تم إعطاء مكونات Parser و Renderer أسماء من قبل المهندسين العكسيين الألمان ، لذلك لا تعكس هذه الأسماء بدقة الغرض من هذه المكونات.

لدى المحلل اللغوي ثلاث مهام رئيسية:

«» (, ) . ( ) «-» UL, UM, UN, [l̩, m̩, n̩]. , /əl, əm, ən/; Parser , AXL, AXM, AXN .
, .. . «AH LIHTUL TUW LOW» , /t/ [ɾ] (DX) [t] (T,*,*) . ( .) , /l/ [ɫ] (LX) , [l] (L) .
.

تدعم SAM 81 خلفية ، 61 منها لها أسماء ويمكن استخدامها في التسجيلات الصوتية لـ "خداع" المحلل اللغوي وتعيين الصوت المطلوب على الفور. الخلفيات 20 المتبقية هي بلا اسم ؛ يمكن أن تظهر 18 منهم فقط نتيجة لعمل المحلل اللغوي ، ولا يمكن أن تظهر الخلفيات ذات الرموز 46 و 47 بأي شكل من الأشكال ، وربما لا تزال غير محددة من خلال الإشراف على مطوري SAM

الخلفيات مع الرموز 0-4 ( .?,-) تتوافق مع الصمت ؛ ويتلخص الباقي في الجدول التالي:

الرمز	تعيين	صوت	الرمز	تعيين	صوت
5	`IY`	[أنا]	42	`CH`	[ر] في التكوين / tʃ /
6	`IH`	[ɪ]	43	`*`	[ʃ] كجزء من / tʃ /
7	`EH`	[ɛ]	44	`J`	[د] في تكوين / د /
8	`AE`	[و]	45	`*`	[ʒ] من / dʒ /
9	`AA`	[ɑ]	48	`EY`	~ [ɜ] in / eɪ /
10	`AH`	[ʌ]	49	`AY`	~ [ɑ] in / aɪ /
أحد عشر	`AO`	[ɔ]	خمسون	`OY`	[ɔ] من / ɔɪ /
12	`UH`	[ʊ]	51	`AW`	[ɑ] في / aʊ /
ثلاثة عشر	`AX`	[ə]	52	`OW`	[ɔ] كجزء من / oʊ /
14	`IX`	أقصر [ɪ]	53	`UW`	~ [ش]
خمسة عشر	`ER`	[ɜ]	54	`B`	[ب]
السادس عشر	`UX`	[ش]	55	`*`
17	`OH`	[س]	56	`*`
الثامنة عشر	`RX`	[ɹ]	57	`D`	[د]
تسعة عشر	`LX`	[ɫ]	58	`*`
عشرون	`WX`	قصيرة [ʊ] في الإدغامات	59	`*`
21	`YX`	قصيرة [ɪ] في الإدغامات	60	`G`	[غʲ]
22	`WH`	أطول [ث]	61	`*`
23	`R`	[ɹ̠]	62	`*`
24	`L`	[ل]	63	`GX`	[ز]
25	`W`	[ث]	64	`*`
26	`Y`	[ي]	65	`*`
27	`M`	[م]	66	`P`	[ص]
28	`N`	[ن]	67	`*`
التاسع والعشرون	`NX`	[ن]	68	`*`
ثلاثون	`DX`	[ɾ]	69	`T`	[ر]
31	`Q`	[ʔ]	70	`*`
32	`S`	[س]	71	`*`
33	`SH`	[ʃ]	72	`K`	[ك]
34	`F`	[F]	73	`*`
35	`TH`	[θ]	74	`*`
36	`/H`	[ç]	75	`KX`	[ك]
37	`/X`	[ح]	76	`*`
38	`Z`	[ض]	77	`*`
39	`ZH`	[ʒ]	78	`UL`	[l̩]
40	`V`	[الخامس]	79	`UM`	[م]
41	`DH`	[د]	80	`UN`	[ن]

تتكون الإجراءات التي يقوم بها المحلل اللغوي من سبع خطوات:

تحليل نفسها: يتم تشكيل قائمة برموز الخلفية وقائمة متوازية من النغمات المعطاة بالأرقام في سطر الإدخال على خط الإدخال.
تطبيق مجموعة من عشرين قاعدة على قائمة الخلفيات: على سبيل المثال ، الاستبدالات / t / + / r / → [tʃ] + [ɹ̠] و / k / + / حرف متحرك غير أمامي / → [k] + [حرف متحرك]. (/ k / أمام حروف العلة الأمامية تبقى كما هي وتطابق الخلفية [kʲ].)
CopyStress: تمتد نغمة الحروف المتحركة المجهدة إلى الحروف الساكنة التي تسبقها.
SetPhonemeLength: يتم استبدال المدة لكل خلفية (في "إطارات" شرطية). يتم استخدام جدولين لخط الطول في الخلفية - أحدهما للمقاطع المجهدة والآخر للمقاطع غير المضغوطة.
AdjustLengths: يطبق مجموعة من سبع قواعد لضبط مدد الخلفية. على سبيل المثال ، تطول أحرف العلة قبل الحروف الساكنة الصوتية مرة ونصف مرة ، ويتم تقليل الحروف الساكنة المتتالية إلى النصف.
ProlongPlosiveStopConsonants: الحروف الساكنة المتفجرة أمام حروف العلة ، تنقسم الحروف الساكنة السلسة والحيوية إلى ثلاثة أضعاف الخلفيات. تتوافق الخلفية الأولى في الثلاثة مع شدة أقل للصوت ، والثانية إلى شدة كاملة ، والثالثة للصمت.
InsertBreath: العبارة مقسمة .?,-إلى "زفير" بخلفيات "صامتة" ( ) تصل إلى 232 إطارًا (حوالي 2½ ثانية). في تطبيق SAM لأجهزة الكمبيوتر الرجعية ، كان هذا القسم ضروريًا لتوفير الذاكرة ؛ في إصدار جافا سكريبت لا معنى له ، وفي شوكي يتم حذفه.

يخرج المحلل ثلاث قوائم متوازية: رموز الخلفية ونغماتها ومدتها.

العارض

هذا المكون مسؤول عن تركيب الكلام بالمعنى الضيق للكلمة. عند الإدخال ، يتلقى قائمة من الخلفيات بنغمات ومدد محددة ، بالإضافة إلى المعلمات التي تؤثر على الصوت المركب. عند الإخراج ، تنتج ثماني قوائم متوازية: ترددات الصيغ F ₁ –F ₃ ، شدتها (السعات) ، التردد الرئيسي F ₀ (نغمة الصوت) ، والقيم sampledConsonant، التي سيتم وصفها بمزيد من التفصيل أدناه.

بالإشارة إلى تعليمات SAM ، يتم توفير الأمثلة التالية لقيم المعلمات الصوتية:

تصويت	سرعة	ملعب كورة قدم	حلق	فم
قزم	72	64	110	160
الروبوت الصغير	92	60	190	190
رجل محشو	82	72	110	105
السيدة العجوز الصغيرة	82	32	145	145
خارج الأرض	100	64	150	200
SAM	72	64	128	128
دلك	120	100	100	200

تجدر الإشارة إلى أنه لا يتم استخدام معلمة السرعة في Renderer ، ولكن بالفعل في مرحلة إنشاء الصوت: تعتمد مدة الصوت الذي يتم إنشاؤه لإطار واحد على هذه المعلمة. بالإضافة إلى معلمة السرعة ، تعتمد مدة الإطار أيضًا على نوع الصوت ، كما هو موضح أدناه.

ويستند توليف الكلام المتشكل على حقيقة أن كل خلفية مرتبطة بترددات واتساع الصيغ القليلة الأولى. لتجميع حروف العلة ، استخدام اثنين من الصيغ يكفي - على سبيل المثال ، رسم بياني لترددات التكوين النموذجية لأحرف العلة الإنجليزية المأخوذة من موقع جامعة مانيتوبا :

لتجميع الحروف الساكنة ، هناك حاجة إلى صيغ إضافية. علاوة على ذلك ، كما ذكرت في مقالة العام الماضي ، تتميز الحروف الساكنة الصاخبة بـ "انفجارات" في نطاق تردد واسع:

لا يمكن الحصول على هذه "الاندفاعات" عن طريق توليف شكل نقي ، وبالتالي فإن SAM تعيد إصدار أصوات الحروف الساكنة الصاخبة من جدول العينة. sampledConsonantتحدد القيم المذكورة أعلاه جزءًا من الجدول المقابل للساكن الساكن الصاخب.

تتكون الإجراءات التي يقوم بها Renderer من خمس خطوات:

SetMouthThroat: بالنسبة للخلفيات المتحركة والخلفيات الصوتية (الرموز 5-29 و 48-53) ، _يتم ضرب القيم المجدولة للترددات F ₁ و F ₂ في المعلمات الفم والحلق ، على التوالي.
CreateFrames: . , (1–8) Pitch (1 → −32, 6 → 0, 8 → +12). , ( 30 ) , .
CreateTransitions: F₀–F₃ F₁–F₃ . , , .
F₀ F₁, «pitch contour», .
, () , PCM.

من وجهة نظر مادية ، فإن الكلام عبارة عن قطار نبضي جلدي تم إنشاؤه بواسطة الحبال الصوتية (انظر الشكل.) ، والذي يمر على طول الطريق من خلال الفم والأنف ( مسار الكلام ) ، وتضخم تلك مثل الرنان التوافقيات المعينة في موجة الحنجرة. تردد الموجة الحنجرية - هذا هو التردد الرئيسي للصوت F ₀ . كقاعدة ، تتراوح قيمها بين 100 و 400 هرتز: أقل للرجال ، أعلى للنساء ، حتى أعلى للأطفال. النموذج الصوتي المستخدم في تركيب التركيب هو أن العديد من مرشحات تمرير النطاق يتم تطبيقها على موجة الحنجرة ، كل منها يميز شكل واحد. يعتمد عرض النطاق المخصص على تواتر المُشكل ، ووفقًا للبيانات التجريبية ، يصل إلى 200 هرتز: في عرض SAM الخاص بي على tyomitch.imtqy.com

يتم استخدام هذا النهج: مع القيمة الافتراضية للمعلمة عرض النطاق الترددي = 3 ، يقدم كل مُشكِّل التوافقيات F ₀ في الإشارة الصوتية الناتجة ضمن ± 5.9٪ من تردد المُشكل. يتوافق هذا تقريبًا مع الرسوم البيانية أعلاه: يخصص المُشكل بتردد 3 كيلوهرتز عرض نطاق يبلغ 177 هرتز. في تطبيق SAM الكلاسيكي ، تم الاقتراب من توليد العدد المطلوب من التوافقيات بشكل أكثر إبداعًا: لكل مولد شكل واحد ، ولكن يتم طور هذه الموجة بتردد F ₀ . في العرض التوضيحي الخاص بي ، يمكنك التبديل إلى الوضع الذي يقوم بتجميع موجة واحدة لكل مركب (ولكن بدون صفر المرحلة) عن طريق إلغاء تحديد معلمة الملعب.

تعمل وظيفة ProcessFramesSAM الكلاسيكية على معالجة الصم والأصوات الصوتية الصاخبة بشكل منفصل عن جميع الخلفيات الأخرى:

. , Speed. ([s]) 105 , ([p] [t]) — 10.4 .
$\frac{Speed\cdot162}{50}$ PCM-, : () F₁ F₂, ( ) F₃. , Speed=72 10.6 .
, , $\frac34\cdot\frac{Speed\cdot162}{50}$ PCM-, . , Speed . , Pitch=64, 1.6 , .. 9.5 .

بالنسبة للحروف الساكنة الصاخبة ، يتم استخدام خمسة جداول عينات: واحدة للحويصلات السنوية ([t ، s ، z]) ، واحدة للحجرة السنخية ([ʃ ، ʒ]) ، واحدة للشفوية والأسنان ([p ، f ، v ، θ ، ð ]) ، وواحد لـ [ç] و [h]. تختلف العينات المتعلقة بنفس الجدول عن بعضها البعض فقط من حيث المدة والكثافة.

في العرض التوضيحي الخاص بي ، من أجل البساطة ، يتم إنشاء صوت متساوي المدة لجميع الإطارات ، وتعتمد هذه المدة فقط على معلمة السرعة: مع قيمته الافتراضية ، يتوافق إطار واحد مع 10.4 مللي ثانية من الصوت. كما تظهر التجارب ، يتوافق هذا "في المتوسط" مع SAM الكلاسيكي ، على الرغم من أنه فيما يتعلق به ، يمكن للأصوات الفردية في العبارة المركبة "التحرك" لوحدات MS إلى الأمام أو الخلف.

في الختام ، سأعرض ثلاثة مخططات طيفية من عبارة الترحيب التي تم إنشاؤها بواسطة مولد الصوت SAM التقليدي ومولد الصوت الخاص بي مع تشغيل وإيقاف تشغيل النغمة:

كما ترى ، يؤدي إيقاف تشغيل توليف النغمة إلى التوصل إلى حل وسط بين جودة الصوت ورؤية الصيغ على مخطط الطيف.

رسم خطاب: الفم التلقائي للبرمجيات

القارئ

محلل

العارض

More articles: