📮 🖕 🎲 वेब ऑडियो एपीआई अवधारणाओं ♑️ ⛈️ ⚫️

शुभ दिन, दोस्तों!

यह आलेख संगीत के सिद्धांत से कुछ अवधारणाओं की व्याख्या करता है जो वेब ऑडियो एपीआई (डब्ल्यूएए) पर काम करता है। इन अवधारणाओं को जानने के बाद, आप किसी एप्लिकेशन में ऑडियो डिज़ाइन करते समय सूचित निर्णय ले सकते हैं। यह लेख आपको एक अनुभवी साउंड इंजीनियर नहीं बनाएगा, लेकिन यह आपको यह समझने में मदद करेगा कि WAA काम करने के तरीके पर काम क्यों करता है।

ऑडियो सर्किट

WAA का सार एक ऑडियो संदर्भ के भीतर ध्वनि के साथ कुछ संचालन करना है। इस एपीआई को विशेष रूप से मॉड्यूलर रूटिंग के लिए डिज़ाइन किया गया है। ध्वनि के साथ मूल संचालन ऑडियो नोड्स हैं, परस्पर जुड़े और एक रूटिंग आरेख (ऑडियो रूटिंग ग्राफ) बनाते हैं। कई स्रोत - विभिन्न प्रकार के चैनलों के साथ - एक ही संदर्भ में संसाधित होते हैं। यह मॉड्यूलर डिजाइन गतिशील प्रभावों के साथ जटिल कार्यों को बनाने के लिए आवश्यक लचीलापन प्रदान करता है।

ऑडियो नोड्स इनपुट और आउटपुट के माध्यम से परस्पर जुड़े होते हैं, एक श्रृंखला बनाते हैं जो एक या एक से अधिक स्रोतों से शुरू होती है, एक या अधिक नोड्स से गुजरती है, और गंतव्य पर समाप्त होती है। सिद्धांत रूप में, आप एक गंतव्य के बिना कर सकते हैं, उदाहरण के लिए, अगर हम केवल कुछ ऑडियो डेटा की कल्पना करना चाहते हैं। एक विशिष्ट वेब ऑडियो वर्कफ़्लो कुछ इस तरह दिखता है:

एक ऑडियो संदर्भ बनाएँ
संदर्भ के अंदर, स्रोत बनाएं - जैसे कि <ऑडियो>, एक थरथरानवाला (ध्वनि जनरेटर) या स्ट्रीम
Reverb , biquad फ़िल्टर, पैनर या कंप्रेसर जैसे प्रभाव नोड्स बनाएं
ऑडियो के लिए एक गंतव्य चुनें, जैसे कि उपयोगकर्ता के कंप्यूटर पर स्पीकर
किसी गंतव्य तक प्रभावों के माध्यम से स्रोतों के बीच संबंध स्थापित करना

चैनल पदनाम

उपलब्ध ऑडियो चैनलों की संख्या अक्सर संख्यात्मक प्रारूप में इंगित की जाती है, उदाहरण के लिए, 2.0 या 5.1। इसे चैनल पदनाम कहा जाता है। पहला अंक सिग्नल को शामिल करने वाली आवृत्तियों की पूरी श्रृंखला को इंगित करता है। दूसरा अंक कम आवृत्ति प्रभाव आउटपुट - सबवूफ़र्स के लिए आरक्षित चैनलों की संख्या को इंगित करता है ।

प्रत्येक इनपुट या आउटपुट में एक निश्चित ऑडियो सर्किट के अनुसार निर्मित एक या अधिक चैनल होते हैं। विभिन्न असतत चैनल संरचनाएं हैं जैसे मोनो, स्टीरियो, क्वाड, 5.1, आदि।

ऑडियो स्रोतों को कई तरीकों से प्राप्त किया जा सकता है। ध्वनि हो सकती है:

जावास्क्रिप्ट द्वारा एक ऑडियो नोड के माध्यम से उत्पन्न (जैसे एक थरथरानवाला)
PCM (पल्स कोड मॉड्यूलेशन) का उपयोग कर कच्चे डेटा से बनाया गया
HTML मीडिया तत्वों से व्युत्पन्न (जैसे <वीडियो> या <ऑडियो>)
एक WebRTC मीडिया स्ट्रीम (जैसे एक वेबकैम या माइक्रोफोन) से व्युत्पन्न

ऑडियो डेटा: नमूने में क्या है

नमूनाकरण का अर्थ है एक निरंतर सिग्नल को असतत (विभाजित) (डिजिटल से एनालॉग) सिग्नल में परिवर्तित करना। दूसरे शब्दों में, एक निरंतर ध्वनि तरंग, जैसे कि लाइव कॉन्सर्ट, नमूनों के अनुक्रम में परिवर्तित हो जाता है, जो कंप्यूटर को अलग-अलग ब्लॉकों में ऑडियो को संसाधित करने की अनुमति देता है।

ऑडियो बफर: फ्रेम्स, नमूने, और चैनल

AudioBuffer चैनलों की संख्या को मापदंडों के रूप में स्वीकार करता है (मोनो के लिए 1, स्टीरियो के लिए 2, आदि), लंबाई - बफर के अंदर नमूना फ्रेम की संख्या, और नमूना आवृत्ति - प्रति सेकंड फ़्रेम की संख्या।

एक नमूना एक 32-बिट फ्लोटिंग-पॉइंट वैल्यू (फ्लोट 32) है, जो किसी विशेष बिंदु पर और किसी विशेष चैनल (बाएं या दाएं, आदि) में ऑडियो स्ट्रीम का मूल्य है। एक नमूना फ्रेम या फ्रेम एक निश्चित समय में पुन: पेश किए जाने वाले सभी चैनलों के मूल्यों का एक सेट है: सभी चैनलों के सभी नमूने एक ही समय में पुन: उत्पन्न होते हैं (दो स्टीरियो के लिए, छह के लिए 5.1, आदि)।

नमूनाकरण दर नमूनों की संख्या है (या फ्रेम, चूंकि एक फ्रेम में सभी नमूने एक समय में खेले जाते हैं), एक सेकंड में वापस खेला जाता है, जिसे हर्ट्ज़ (हर्ट्ज) में मापा जाता है। उच्च आवृत्ति, बेहतर ध्वनि की गुणवत्ता।

चलो मोनो और स्टीरियो बफ़र्स को देखते हैं, हर एक दूसरे लंबे समय तक, 44100 हर्ट्ज की आवृत्ति पर पुन: पेश किया जाता है:

मोनो बफर में 44100 नमूने और 44100 फ्रेम होंगे। "लंबाई" संपत्ति का मूल्य 44100 है
स्टीरियो बफर में 88,200 नमूने होंगे, लेकिन 44,100 फ्रेम भी। "लंबाई" संपत्ति का मूल्य 44100 होगा - लंबाई फ्रेम की संख्या के बराबर है

जब बफर का प्लेबैक शुरू होता है, तो हम पहले नमूने के बाईं ओर के फ्रेम को सुनते हैं, फिर निकटतम दाएं फ्रेम इत्यादि को। स्टीरियो के मामले में, हम दोनों चैनलों को एक साथ सुनते हैं। नमूना फ्रेम चैनलों की संख्या से स्वतंत्र हैं और बहुत सटीक ऑडियो प्रसंस्करण के लिए अवसर प्रदान करते हैं।

नोट: फ्रेम की संख्या से सेकंड में समय प्राप्त करने के लिए, नमूना दर से फ्रेम की संख्या को विभाजित करना आवश्यक है। नमूनों की संख्या से फ़्रेम की संख्या प्राप्त करने के लिए, बाद वाले चैनलों की संख्या से विभाजित करें।

उदाहरण:

let context = new AudioContext()
let buffer = context.createBuffer(2, 22050, 44100)

नोट: डिजिटल ऑडियो में, 44100 हर्ट्ज या 44.1 kHz मानक नमूनाकरण आवृत्ति है। लेकिन 44.1 kHz क्यों?

सबसे पहले, क्योंकि श्रव्य आवृत्तियों (मानव कान द्वारा भिन्न होने वाली आवृत्तियों) की सीमा 20 से 20,000 हर्ट्ज तक भिन्न होती है। Kotelnikov के प्रमेय के अनुसार, नमूना की आवृत्ति सिग्नल स्पेक्ट्रम में उच्चतम आवृत्ति से दोगुनी होनी चाहिए। इसलिए, नमूना आवृत्ति 40 kHz से अधिक होनी चाहिए।

दूसरे, कम-पास फिल्टर का उपयोग करके संकेतों को फ़िल्टर किया जाना चाहिए ।नमूना लेने से पहले, वर्णक्रमीय "पूंछ" (आवृत्ति स्वैपिंग, आवृत्ति मास्किंग, एलियासिंग) का ओवरलैप होगा और पुनर्निर्मित सिग्नल का आकार विकृत हो जाएगा। आदर्श रूप से, एक कम-पास फिल्टर को 20 kHz (बिना क्षीणन) के नीचे आवृत्तियों को पारित करना चाहिए और 20 kHz से ऊपर की आवृत्तियों को छोड़ देना चाहिए। व्यवहार में, कुछ संक्रमण बैंड की आवश्यकता होती है (पासबैंड और दमन बैंड के बीच), जहां आवृत्तियों को आंशिक रूप से देखा जाता है। ऐसा करने का एक आसान और अधिक किफायती तरीका विरोधी परिवर्तन फिल्टर का उपयोग करना है। 44.1 kHz की नमूना आवृत्ति के लिए, संक्रमण बैंड 2.05 kHz है।

उपरोक्त उदाहरण में, हमें दो चैनलों के साथ एक स्टीरियो बफर मिलता है, जिसे 44100 हर्ट्ज (मानक), 0.5 सेकंड लंबे (22050 फ्रेम / 44100 हर्ट्ज = 0.5 एस) की आवृत्ति के साथ एक ऑडियो संदर्भ में पुन: प्रस्तुत किया जाता है।

let context = new AudioContext()
let buffer = context.createBuffer(1, 22050, 22050)

इस मामले में, हमें एक चैनल के साथ एक मोनो बफर मिलता है, जिसे 44100 हर्ट्ज की आवृत्ति के साथ एक ऑडियो संदर्भ में पुन: पेश किया जाता है, यह 44100 हर्ट्ज (और फ्रेम को 44100 तक बढ़ाता है), 1 सेकंड लंबा (44100 फ्रेम (44100 हर्ट्ज = 1 एस)) होगा।

नोट: ऑडियो रिसमलिंग ("रिसैम्पलिंग") आकार बदलने ("आकार बदलना") चित्रों के समान है। माना कि हमारे पास 16x16 की छवि है, लेकिन हम इस क्षेत्र को 32x32 आकार के साथ भरना चाहते हैं। हम आकार बदलते हैं। परिणाम कम गुणवत्ता वाला होगा (ज़ूम एल्गोरिथ्म के आधार पर यह धुंधला हो सकता है या फट सकता है), लेकिन यह काम करता है। रसमय ऑडियो एक ही बात है: हम अंतरिक्ष को बचाते हैं, लेकिन व्यवहार में उच्च गुणवत्ता वाले ध्वनि को प्राप्त करने की संभावना नहीं है।

प्लेनर और स्ट्रिप्ड बफ़र्स

WAA एक प्लानर बफर प्रारूप का उपयोग करता है। बाएं और दाएं चैनल निम्नानुसार बातचीत करते हैं:

LLLLLLLLLLLLLLLLRRRRRRRRRRRRRRRR ( ,   16 )

इस मामले में, प्रत्येक चैनल दूसरों के स्वतंत्र रूप से काम करता है।

एक वैकल्पिक प्रारूप का उपयोग करना है:

LRLRLRLRLRLRLRLRLRLRLRLRLRLRLRLR ( ,   16 )

इस प्रारूप का उपयोग अक्सर एमपी 3 डीकोडिंग के लिए किया जाता है।

WAA केवल प्लानर प्रारूप का उपयोग करता है, क्योंकि यह ध्वनि प्रसंस्करण के लिए बेहतर अनुकूल है। प्लानर प्रारूप को प्रत्यावर्ती में तब परिवर्तित किया जाता है जब डेटा प्लेबैक के लिए साउंड कार्ड पर भेजा जाता है। MP3s को डिकोड करने पर, व्युत्क्रम परिवर्तित हो जाता है।

ऑडियो चैनल

विभिन्न बफ़र्स में चैनलों की एक अलग संख्या होती है: सरल मोनो (एक चैनल) और स्टीरियो (बाएं और दाएं चैनल) से अधिक जटिल सेट जैसे कि क्वाड और 5.1 प्रत्येक चैनल में अलग-अलग संख्या में नमूने के साथ, जो एक अमीर (समृद्ध) ध्वनि प्रदान करता है। चैनल आमतौर पर संक्षिप्त रूप से दर्शाए जाते हैं:

मोनो	0: एम: मोनो
स्टीरियो	0: L: बायां 1: R: दायां
तस्वीर	0: L: बायां 1: R: दायाँ 3: SL: अतिरिक्त बायाँ (बायाँ चैनल वातावरण बना रहा है; बायाँ बाँया) 4: SR: अतिरिक्त दाएँ (दायें को घेरें)
5.1	0: L: बायां 1: R: दायाँ 2: C: केंद्र 3: LFE: सबवूफर 4: SL: अतिरिक्त बायाँ 5: SR: अतिरिक्त दाएँ

अप-मिक्सिंग और डाउन-मिक्सिंग

जब इनपुट और आउटपुट में चैनलों की संख्या मेल नहीं खाती है, तो ऊपर या नीचे मिश्रण लागू करें। मिश्रण को AudioNode.channelInterpretation गुण द्वारा नियंत्रित किया जाता है:

इनपुट चैनल	आउटपुट चैनल	मिक्सिंग रूल्स
मानक चैनल मिक्सिंग स्कीम - का उपयोग तब किया जाता है जब चैनलइंटरप्रिटेशन प्रॉपर्टी स्पीकर (स्पीकर) के लिए सेट की जाती है।
1 (मोनो)	2 (स्टीरियो)	मोनो से स्टीरियो तक मिलाएं। इनपुट चैनल M का उपयोग आउटपुट चैनल (L और R) दोनों के लिए किया जाता है। output.L = input.M output.R = input.M
1 (मोनो)	4 (क्वाड)	मोनो से क्वाड तक मिलाएं। इनपुट चैनल M का उपयोग मुख्य चैनलों (L और R) के लिए किया जाता है। अतिरिक्त चैनलों में फेरबदल किया जाता है। output.L = input.M output.R = input.M output.SL = 0 output.SR = 0
1 (मोनो)	6 (5.1)	5.1. ©. (L, R, LFE, SL SR) . output.L = 0 output.R = 0 output.C = input.M output.LFE = 0 output.SL = 0 output.SR = 0
2 ()	1 ()	. (L R) (M). output.M = 0.5 * (input.L + input.R)
2 ()	4 ()	. L R (L R). (SL SR) . output.L = input.L output.R = input.R output.SL = 0 output.SR = 0
2 ()	6 (5.1)	5.1. L R (L R). (SL SR), © (LFE) . output.L = input.L output.R = input.R output.C = 0 output.LFE = 0 output.SL = 0 output.SR = 0
4 ()	1 ()	. (L, R, SL SR) (M). output.M = 0.25 * (input.L + input.R + input.SL + input.SR)
4 ()	2 ()	. (L SL) (L). (R SR) — ®. output.L = 0.5 * (input.L + input.SL) output.R = 0.5 * (input.R + input.SR)
4 ()	6 (5.1)	5.1. L, R, SL SR . © (LFE) . output.L = input.L output.R = input.R output.C = 0 output.LFE = 0 output.SL = input.SL output.SR = input.SR
6 (5.1)	1 ()	5.1 . (L SL), (R SR) () . , , — √2 / 2. (LFE) . output.M = 0.7071 * (input.L + input.R) + input.C + 0.5 * (input.SL + input.SR)
6 (5.1)	2 ()	5.1 . © (SL SR) (L R). √2 / 2. (LFE) . output.L = input.L + 0.7071 * (input.C + input.SL) output.R = input.R + 0.7071 * (input.C + input.SR)
6 (5.1)	4 ()	5.1 . () (L R). √2 / 2. . (LFE) . output.L = input.L + 0.7071 * input.C output.R = input.R + 0.7071 * input.C output.SL = input.SL output.SR = input.SR
— , channelInterpretation discrete.
(x)	(y), x<y	. ( ). , , .
(x)	(y), x>y	प्रत्येक आउटपुट चैनल को इसके इनपुट एनालॉग (समान इंडेक्स वाले) के साथ जोड़ा जाता है। ऐसे चैनल जिनके पास आउटपुट चैनल नहीं हैं, उन्हें छोड़ दिया जाता है।

दृश्य

विज़ुअलाइज़ेशन आउटपुट ऑडियो डेटा की प्राप्ति पर आधारित है, जैसे आयाम या आवृत्ति पर डेटा, और किसी भी ग्राफिक तकनीक का उपयोग करके उनके बाद के प्रसंस्करण। WAA के पास एक एनालाइज़रनोड है जो इसके पास से गुजरने वाले सिग्नल को विकृत नहीं करता है। इसी समय, यह ऑडियो से डेटा निकालने और इसे आगे स्थानांतरित करने में सक्षम है, उदाहरण के लिए, & ltcanvas>।

डेटा निकालने के लिए निम्न विधियों का उपयोग किया जा सकता है:

एनालाइज़रNode.getFloatByteFrequencyData () - वर्तमान आवृत्ति डेटा को फ़्लोट 323rray में कॉपी करता है
एनालाइज़रNode.getByteFrequencyData () - वर्तमान आवृत्ति डेटा को Uint8Array (अहस्ताक्षरित बाइट सरणी) की प्रतिलिपि बनाता है
AnalyserNode.getFloatTimeDomainData() — Float32Array
AnalyserNode.getByteTimeDomainData() — Uint8Array

ऑडियो स्थानिककरण (PannerNode और AudioListener द्वारा संसाधित) आपको अंतरिक्ष में एक विशिष्ट बिंदु पर सिग्नल की स्थिति और दिशा, साथ ही साथ श्रोता की स्थिति का अनुकरण करने की अनुमति देता है।

पैननर की स्थिति को दाएं हाथ के कार्टेशियन निर्देशांक का उपयोग करके वर्णित किया गया है; गति के लिए , डॉपलर प्रभाव बनाने के लिए आवश्यक वेग वेक्टर का उपयोग किया जाता है ; दिशा के लिए, दिशा शंकु का उपयोग किया जाता है। यह शंकु बहुआयामी ध्वनि स्रोतों के मामले में बहुत बड़ा हो सकता है।

श्रोता की स्थिति निम्नानुसार बताई गई है: गति - वेग सदिश का उपयोग करते हुए, श्रोता का सिर जहां दिशा है - दो दिशात्मक वैक्टर, सामने और ऊपर का उपयोग करना। तड़कना सही कोण पर श्रोता के सिर और नाक के शीर्ष पर किया जाता है।

जंक्शन और शाखा

एक कनेक्शन एक प्रक्रिया का वर्णन करता है जिसमें एक ChannelMergerNode कई इनपुट मोनो स्रोत प्राप्त करता है और उन्हें एक एकल मल्टी-चैनल आउटपुट सिग्नल में जोड़ता है।

ब्रांचिंग रिवर्स प्रक्रिया है (ChannelSplitterNode के माध्यम से कार्यान्वित)।

WAA के साथ काम करने का एक उदाहरण यहां पाया जा सकता है । उदाहरण के लिए स्रोत कोड यहाँ है । यहाँ एक लेख है कि यह सब कैसे काम करता है।

ध्यान देने के लिए धन्यवाद।

वेब ऑडियो एपीआई अवधारणाओं