👩🏿‍🚀 👩🏽‍🤝‍👨🏼 🍁 हम STM32 पर माइक्रोफोन सिस्टम का परीक्षण कैसे करते हैं: यांडेक्स डिवाइस डेवलपर्स का अनुभव 🐦 👲🏻 🤶🏿

हाय, मैं यांडेक्स हार्डवेयर सॉल्यूशन टीम से गेनेडी "क्रिल" क्रुग्लोव हूं।

माइक्रोफोन मैट्रिक्स के लिए माइक्रोफोन का चयन हमारे काम का एक जटिल और दिलचस्प हिस्सा है: हम विभिन्न मापदंडों के साथ मॉडल का परीक्षण करते हैं, विभिन्न मैट्रिक्स कॉन्फ़िगरेशन के साथ प्रयोग करते हैं और ध्वनि प्रसंस्करण एल्गोरिदम में सुधार करते हैं।

यह उन डेवलपर्स के लिए सुविधाजनक है, जो ईको और नॉइज़ रिडक्शन एल्गोरिदम बनाते हैं, जो न केवल कच्चे डेटा को प्रयोगशाला में एक उपकरण से संसाधित करते हैं, बल्कि यह भी कि वे अपने लैपटॉप से कनेक्ट करके वास्तविक समय में एक नए माइक्रोफोन मैट्रिक्स के साथ बातचीत कर सकते हैं।

यह पहली नज़र में ही सरल लगता है। इस लेख में मैं बताऊंगा कि कैसे हमने USB के माध्यम से सात माइक्रोफ़ोन से ध्वनि को एक पीडीएम इंटरफेस के साथ कंप्यूटर में स्थानांतरित करने की समस्या को हल किया, किस हार्डवेयर और सॉफ्टवेयर की बारीकियों का हमने सामना किया और उन्हें कैसे दूर किया (स्पॉइलर: इस दृष्टिकोण को माइक्रोफोन की संख्या के साथ परिपक्व होने के लिए अनुकूलित किया जा सकता है ≤ 8 ) पोस्ट के अंत में मैं स्ट्रीम का लिंक साझा करूंगा, जहां मैं STM32 माइक्रोकंट्रोलर पर विकास प्रक्रिया दिखाता हूं, और अगली श्रृंखला के बारे में बात करता हूं।

समस्या का निरूपण

थोड़ी पृष्ठभूमि: संवेदनशीलता के एक नियंत्रित बीम बनाने के लिए, पहले Yandex.Station के लिए, सात संस्करण (एनालॉग) के साथ एक सर्किट का चयन किया गया था, मिनी संस्करण के लिए - चार (पहले से ही डिजिटल) के साथ। अन्य उत्पादों के लिए, विभिन्न विन्यासों पर विचार किया जाता है, लेकिन फिर भी हमारे लिए सात-माइक्रोफोन मैट्रिक्स बुनियादी, क्लासिक है।

तो, दिए गए: सात डिजिटल माइक्रोफोन, उन्हें परीक्षण करने की आवश्यकता। खोजें: लागू करने के लिए मुश्किल नहीं है और उनके साथ बातचीत करने के लिए लचीला तरीका। कार्य को दो में विभाजित करना तर्कसंगत है:

1. माइक्रोफोन से डेटा प्राप्त करें।

2. उन्हें कंप्यूटर पर भेजें।

तैयार डिवाइस में, जब उपयोगकर्ता ऐलिस से संपर्क करता है, तो डिजिटल माइक्रोफोन से सिग्नल सीधे केंद्रीय प्रोसेसर को भेजे जाते हैं (इसे SoC - System-on-Chip कहते हैं, लेकिन "प्रोसेसर" अधिक परिचित और सुविधाजनक है), इसे संसाधित करने के लिए पर्याप्त शक्ति है। लेकिन डीबगिंग एल्गोरिदम के लिए यह डेटा सीधे डेवलपर के कंप्यूटर पर प्राप्त करना अधिक सुविधाजनक है। सबसे आसान तरीका यूएसबी के माध्यम से कनेक्ट करना है: इस प्रकार, बोर्ड में उपयुक्त इकाई के साथ एक माइक्रोकंट्रोलर होना चाहिए। हम STM32 नियंत्रक से प्यार करते हैं, लेकिन सीधे माइक्रोफोन से ध्वनि प्रवाह को भेजना असंभव है: कोई PDM सिग्नल रिसेप्शन यूनिट (पल्स घनत्व मॉडुलन) - डिजिटल माइक्रोफोन का आउटपुट इंटरफ़ेस नहीं है।

एक अन्य विकल्प माइक्रोफोन बोर्ड को डिबग बोर्ड से कनेक्ट करने के लिए इस्तेमाल किया गया SoC निर्माता से है। लेकिन यह निर्णय लिनक्स अलसमिक्सर से जुड़ा है, और इसके पैरामीटर पीडीएम को पीसीएम में बदलने के परिणाम को दृढ़ता से प्रभावित करते हैं। ये ब्लॉक न केवल विभिन्न निर्माताओं से प्रोसेसर के लिए भिन्न हो सकते हैं, बल्कि एक ही विक्रेता के दो मॉडल के लिए भी भिन्न हो सकते हैं। मैं आपको याद दिलाता हूं कि हमें एक सरल समाधान की जरूरत थी, पारदर्शी और पूर्वानुमान योग्य।

हार्डवेयर समाधान

मल्टी-चैनल पीडीएम को स्वीकार करने के लिए एसटीएम 32 की अक्षमता को स्वीकार करें। एक PDM सिग्नल प्राप्त करने के लिए SPI ब्लॉक का उपयोग कर सकता है, लेकिन केवल एक माइक्रोफ़ोन को एक SPI बस से जोड़ा जा सकता है। हम एसटीएम 32 एल 476 आरसी नियंत्रक के साथ काम करते हैं, जहां केवल तीन ऐसी बसें हैं। अतिरिक्त जटिलता: पीडीएम सिग्नल काफी उच्च-आवृत्ति है, सात माइक्रोफ़ोन के लिए इसका डिकिमेशन, औसत, प्रसंस्करण, फ़िल्टरिंग करना आवश्यक है - यह कार्य काफी जटिल है।

चूंकि हम डिबग बोर्ड के बारे में बात कर रहे हैं, और बड़े पैमाने पर उत्पादन के लिए प्रोटोटाइप नहीं, हम एक विशेष चिप TSDP18xx पर ध्यान केंद्रित करेंगे। यह सब कुछ आवश्यक करता है: यह पीडीएम के लिए आवश्यक आवृत्तियों और संकेतों को उत्पन्न करता है, औसत और पीडीएम सिग्नल को संसाधित करता है, यह सभी को I2S सिग्नल में बदल देता है। अधिक सटीक रूप से, टीडीएम (टाइम डिवीजन मल्टीप्लेक्सिंग), क्योंकि I2S- बस दो चैनलों को मानता है, और यदि आप एक ही तारों के माध्यम से अधिक ड्राइव करते हैं, तो इसे I2S कहना बिलकुल सही नहीं है।

इस दृष्टिकोण का लाभ यह है कि TSDP द्वारा तैयारी और औसत पर सभी कार्य किए जाते हैं। माइनस - सभी एल्गोरिदम कसकर इस माइक्रोक्रेसीट के अंदर वायर्ड होते हैं, और उन्हें बदला नहीं जा सकता। विशेष रूप से, आप औसत मापदंडों को संशोधित करके वॉल्यूम समायोजित नहीं कर सकते हैं। लेकिन डिबगिंग के लिए, यह महत्वपूर्ण नहीं है।

अपने हाथों को देखें: सात माइक्रोफ़ोन हैं, माइक्रोक्रिकिट पर आठ चैनल हैं। जो उपयोग नहीं किया जाता है, आउटपुट अभी भी है, इसलिए भविष्य में सादगी के लिए मैं आठ-चैनल ऑडियो स्ट्रीम के बारे में बात करूंगा।

इसलिए, हम आठ-चैनल TDM को STM32 में बढ़ाते हैं, हमें एक आठ-चैनल ऑडियो स्ट्रीम मिलता है। डेटा कैसे चलता है:

SAI - STM32 I2S / TDM के साथ काम करने के लिए हार्डवेयर इकाई। यह बहुत लचीला है और आपको कई प्रोटोकॉल विकल्पों को लागू करने की अनुमति देता है। लेकिन इस वजह से, आवृत्तियों के लिए आवश्यकताओं में भ्रमित होना आसान है।

घड़ी का पेड़ करीब से देखने लायक है। एक 12 मेगाहर्ट्ज क्वार्ट्ज गुंजयमान यंत्र माइक्रोकंट्रोलर से जुड़ा है। हम पीएलएल ब्लॉकों को 3 से लागू करने से पहले इस आवृत्ति को विभाजित करते हैं और 4 मेगाहर्ट्ज प्राप्त करते हैं। फिर यह इस तरह काम करता है:

1. कोर आवृत्ति को हर चीज के साथ रखने के लिए उच्चतर बनाना अच्छा होगा: उदाहरण के लिए, इस नियंत्रक के लिए अधिकतम 80 मेगाहर्ट्ज है। हम पहले PLL ब्लॉक का उपयोग करते हैं: हम 4 MHz को 40 से गुणा करते हैं और 2.

2 से विभाजित करते हैं । USB के लिए 48 MHz की आवश्यकता होती है। ऐसा करने के लिए, दूसरे पीएलएल ब्लॉक का उपयोग करें: 4 मेगाहर्ट्ज को 24 से गुणा करें और 2. से विभाजित करें।

3. माइक्रोफोन के बारे में। हमारे परीक्षण बोर्ड एफएस = 16 kHz की एक नमूना आवृत्ति का उपयोग करते हैं, भाषण मान्यता के क्षेत्र में अपनाया गया एक मानक है। 4 मेगाहर्ट्ज की प्रारंभिक आवृत्ति से, आपको कुछ ऐसा प्राप्त करने की आवश्यकता होती है जिसे टीडीएम बस (उर्फ LRCK, उर्फ FCK, उर्फ फ्रेमस्किन) के 16 kHz फ्रेम आवृत्तियों में बदल दिया जा सकता है। इस स्थिति में:

[बिट सिंक्रनाइज़ेशन की आवृत्ति (BCLK, BitClk, Sync, SCK)] = Fs] [चैनलों की संख्या] ∙ [प्रति चैनल बिट्स की संख्या]

वह है: SCK = 16 kHz ∙ 8 ∙ 16 = 2048 kHz।

4. डेटाशीट इंगित करता है कि मास्टर घड़ी और नमूना दर एफएस के बीच संबंध निम्नानुसार है: मास्टरलॉक = 16 kHz CL डिवाइडर MCLK that 256। यहां 256 एक स्थिर है, और विभाजक को रजिस्टर में सेट किया जा सकता है। आइए योजना की जांच करें - आवश्यक कार्यक्षमता के लिए पीएलएल आवृत्ति को 7 या 17 से विभाजित करने के लिए गुणांक हैं:

समस्या को संक्षेप में प्रस्तुत करने के लिए: आपको पीएलएल और एसएआई कारकों के इस तरह के एक सेट का चयन करने की आवश्यकता है और डिवाइडर को 16 किलोहर्ट्ज़ की नमूना आवृत्ति और 128 गुना अधिक की थोड़ी आवृत्ति प्राप्त करने की आवश्यकता है। चूँकि सेट में 7 (या 17) का अनिवार्य भाजक था, इसलिए यह वांछित परिणाम प्राप्त करने के लिए काम नहीं करता था। मुझे 24.571 मेगाहर्ट्ज प्राप्त करने के लिए मल्टीप्लायरों और डिवाइडर की एक तालिका बनानी पड़ी। इस आवृत्ति को 6 (एमसीएलके डिवाइडर) से विभाजित करना, और फिर 256 (स्थिर) द्वारा अंत में, हमें 16 kHz के करीब एक संख्या मिलती है। अब मैं समझाऊंगा कि यह इतना महत्वपूर्ण क्यों है।

USB ऑपरेशन

मल्टीमीडिया डेटा के साथ काम करने के लिए USB एक समकालिक प्रकार के हस्तांतरण का उपयोग करता है: इस मामले में, USB बस में एक निश्चित बैंडविड्थ और विलंब मूल्य की गारंटी होती है। डेटा वितरण की गारंटी नहीं है: यदि एक पैकेट विफलता के साथ आता है, तो इसे खोया माना जाएगा। यह सख्त समय सीमाओं के कारण है: फिर से पूछने का कोई तरीका नहीं है।

USB फुलस्पीड गति पर आइसोक्रोनस प्रकार के स्थानांतरण के साथ (यह 12 Mbit / s है; यह इस गति पर है कि STM32 USB ब्लॉक काम कर सकता है), कंप्यूटर डिवाइस पर हर मिलीसेकंड के लिए आता है: इस अवधि के बाद, इसे संचित डेटा एकत्र करना होगा। मुझे आपको परिचय देने वालों को याद दिलाना है: नमूना आवृत्ति 16 kHz, 8 चैनल है, प्रत्येक चैनल को दो बाइट्स की आवश्यकता होती है, क्योंकि ध्वनि सोलह-बिट है। कुल 16000 16 2 / 8/1000 = 256 बाइट प्रति मिलीसेकंड। एक आइसोक्रोनस प्रकार के संचरण के लिए एक पैकेट का आकार 1023 बाइट्स तक पहुंच सकता है, इसलिए इस बिंदु पर कोई समस्या नहीं है।

तो, पैकेट का आकार 256 बाइट्स है। ऐसा लगता है कि सब ठीक है। सोलह बार TDM पर डेटा प्राप्त किया, बफर में डाला, USB आया, हम इसे एक पैकेट देते हैं, हम दोहराते हैं ... लेकिन यह केवल एक आदर्श दुनिया में होता है। समस्या यह है कि एक तरफ हमारे पास 16 kHz (थोड़ा कम) अपूर्ण है, और परिणामस्वरूप, डेटा हर मिलीसेकंड की तुलना में एक बार थोड़ा कम आता है। दूसरी ओर, कंप्यूटर का मिलीसेकंड भी तैरता है, क्योंकि यह व्यस्त है: जब यह हो सकता है, तब यह आया था। यही है, माइक्रोफोन का नमूना आवृत्ति 16 kHz (लेकिन हमेशा समान) से भिन्न होता है, और USB मिलीसेकंड भी लंबाई में भिन्न होता है (अंतर सबसे अधिक संभावना है: यह थोड़ा अधिक निकलता है, फिर एक आदर्श मिलीसेकंड से थोड़ा कम)।

यह समस्या क्यों है? आप पैकेज खो सकते हैं। यह स्पष्ट करना अनावश्यक है कि एल्गोरिदम के सही डिबगिंग के लिए पूरा डेटा आवश्यक है। पैकेट कैसे खो जाता है: उन्होंने परिणामों के 256 बाइट जमा किए, उन्हें बफर में डाल दिया, और माप जारी रखा। एक कंप्यूटर आया, पहले 256 लिया, हम अभी भी माप करना जारी रखते हैं। कंप्यूटर फिर से आया, लेकिन माप अभी तक पूरा नहीं हुआ है - कंप्यूटर एक खाली पैकेज के साथ छोड़ दिया है। फिर हम बफर भरना समाप्त करते हैं और एक दूसरे को, अगले एक को भरना शुरू करते हैं, जब तक कि कंप्यूटर फिर से नहीं आता। कंप्यूटर केवल अंतिम पैकेट लेता है, परिणामस्वरूप, एक पैकेट खो जाता है।

समस्या वास्तव में, ज्ञात है। इससे निपटने के लिए तीन दृष्टिकोण हैं:

. USB. — . «» — . USB . , , ( , 16 ), . , .
. .
अतुल्यकालिक इस कार्य के लिए सबसे अच्छा है। डिवाइस में एक स्थिर आवृत्ति जनरेटर है। नमूना दर को USB के संदर्भ के बिना ठीक उसी तरह बनाए रखा जाता है। इस मामले में, आपको डिवाइस को डेटा स्थानांतरित करने की आवश्यकता है ताकि कोई महत्वपूर्ण विसंगतियां न हों।

डिजिटल-से-एनालॉग कोडर के साथ एक डिवाइस के माध्यम से कंप्यूटर से स्पीकर तक प्लेबैक के मामले में इंटरनेट पर एक से अधिक बार इस सब पर चर्चा की गई है, जहां एक फीडबैक के रूप में डिवाइस आपको बताता है कि आखिरी पैकेट प्राप्त होने के बाद से कितने नमूने अवधि आ गई है।

लेकिन हमारा कार्य इसके विपरीत है, डीबगिंग को माइक्रोफ़ोन से कंप्यूटर पर डेटा प्राप्त करने की आवश्यकता होती है, और माइक्रोफ़ोन से कंप्यूटर पर सिग्नल रिकॉर्ड करने का प्रश्न केवल सबसे अच्छा उल्लेख किया जाता है। ऐसा क्यों नहीं किया जाता है: कंप्यूटर से प्रतिक्रिया पेश करें? एक आसान विकल्प है।

वह वहाँ है

हम भेजने के लिए डेटा स्टोर करने के लिए नमूनों और दो बफ़र्स के लगातार जोड़ का उपयोग करते हैं। 16 बार प्रति मिलीसेकंड हम चयनित बफर को अगले नमूने में जोड़ते हैं। कुछ समय में, एक व्यवधान उत्पन्न होता है: यूएसबी ने पिछला पैकेट लिया। यदि बफ़र नंबर 1 भरा है, तो यह बफ़र नंबर 2 पर स्विच करता है। जब यूएसबी अगले पैकेट के लिए आता है, तो यह पहले से ही तैयार है। बफर नंबर 2 भेजें और नंबर 1 पर वापस जाएं।

समय में विभिन्न बिंदुओं पर डेटा के लिए यूएसबी आता है, पैकेज में विभिन्न प्रकार के नमूने शामिल होते हैं। यह सोलह से अधिक और कम हो सकता है, इसलिए आकार में 256 बाइट्स के एक पैकेट को पार करने का एक मौका है, पैंतरेबाज़ी के लिए जगह छोड़ना बेहतर है। इसे 384 = 256 + 128 होने दें: यह आधा मिलीसेकंड का मार्जिन देगा, अर्थात यह यूएसबी सिग्नल के स्विमिंग चरण को 50% तक माफ़ कर देगा - ऐसा मार्जिन पर्याप्त से अधिक होना चाहिए। कुल: कभी-कभी अधिक या कम 256 बाइट भेजे जाते हैं, लेकिन कभी भी खाली पैकेट नहीं होता है, जिससे डेटा हानि से बचा जाता है। यही है, हमारे डिवाइस के लिए आवंटित बस बैंडविड्थ के बढ़ते हिस्से और अन्य उपकरणों के लिए इस हिस्से को कम करने की लागत पर, पैकेज को बढ़ाकर असमानता की समस्या को हल किया गया था।

इस पर, कंप्यूटर को डेटा का वितरण समाप्त हो गया। डेवलपर्स को डिबग किया जा सकता है, और आप टिप्पणियों में सवाल पूछ सकते हैं यदि किसी तरह का डेटा पैकेट पूरी तरह से समझने के लिए पर्याप्त नहीं था।

मेरी धाराएँ और अगली कड़ी

हाल ही में मैं अपने घर से दो बार टांका लगाने वाली प्रयोगशाला में प्रवाहित हुई। सबसे पहले मैंने सिर्फ टांका लगाने की प्रक्रिया को दिखाया और बताया कि मैं किन उपकरणों का उपयोग करता हूं। दूसरी श्रृंखला एसटीएम 32 पर विकास के लिए समर्पित थी।

धाराएँ चलती रहती हैं। इस शुक्रवार को 19:00 बजे, हार्डवेयर सॉल्यूशंस डेवलपमेंट टीम एंड्रे लापटेव के मेरे सहयोगी Yandex.Stations Mini के एक ऑनलाइन विश्लेषण की व्यवस्था करेंगे - इनसाइड्स दिखाएं और उत्पादन इतिहास साझा करें। अधिक मज़ेदार के लिए, एंड्री बैटरी को स्तंभ पर स्क्रू करेगा - सभी समान नहीं, तार से काम करें। फाइनल में, आपको एक गाइड प्राप्त होगा जो आपको इस अनुभव को दोहराने की अनुमति देगा या अधिक दिलचस्प डिजाइन के साथ आएगा।

साइन अप करेंस्ट्रीम देखने के लिए। आपको कैलेंडर के लिए एक फ़ाइल के साथ एक पत्र और वायु दिवस पर एक अनुस्मारक प्राप्त होगा। पढ़ने के लिए धन्यवाद!

हम STM32 पर माइक्रोफोन सिस्टम का परीक्षण कैसे करते हैं: यांडेक्स डिवाइस डेवलपर्स का अनुभव

समस्या का निरूपण

हार्डवेयर समाधान

USB ऑपरेशन

वह वहाँ है

मेरी धाराएँ और अगली कड़ी

More articles: