पिछले सप्ताहांत मैंने CUDA और SIMT प्रोग्रामिंग सीखने में बिताया। यह फलदायक समय मेरे "बिजनेस कार्ड राइडर रेसर" के लगभग 700-गुना त्वरण के साथ समाप्त हुआ [1] - 101 सेकंड से 150 एमएस तक।इस तरह के सुखद अनुभव Nvidia वास्तुकला के विषय और विकास के आगे के अध्ययन के लिए एक अच्छा बहाना था। "हरी" टीम द्वारा वर्षों में प्रकाशित भारी मात्रा में प्रलेखन के कारण, मैं समय पर वापस जाने में सफल रहा और इसके स्ट्रीमिंग मल्टीप्रोसेसर के अद्भुत विकास के माध्यम से चलना।इस लेख में हम विचार करेंगे:वर्ष पीढ़ी क्रिस्टल प्रक्रिया प्रौद्योगिकी श्रृंखला सबसे शक्तिशाली कार्ड
=================================================== ===========================
2006 टेस्ला GeForce 8 G80 90 एनएम 8800 GTX
2010 फर्मी GeForce 400 GF100 40 एनएम GTX 480
2012 केपलर GeForce 600 GK104 28 एनएम GTX 680
2014 मैक्सवेल GeForce 900 GM204 28 एनएम GTX 980 तिवारी
2016 पास्कल GeForce 10 GP102 16 एनएम GTX 1080 तिवारी
2018 ट्यूरिंग GeForce 20 TU102 12 एनएम RTX 2080 तिवारी
गतिरोध
2006 तक, एनवीडिया के GPU आर्किटेक्चर ने एपीआई प्रतिपादन [2] के तार्किक चरणों के साथ सहसंबंधित किया । GeForce 7900 GTX, G71 क्रिस्टल द्वारा नियंत्रित है, इसमें तीन भाग होते हैं, जिसमें प्रसंस्करण कोने (8 ब्लॉक), टुकड़े उत्पन्न करना (24 ब्लॉक), और टुकड़े (16 ब्लॉक) का संयोजन शामिल है।क्रिस्टल G71। Z-Cull ऑप्टिमाइज़ेशन पर ध्यान दें, जो एक ऐसे टुकड़े को दिखाता है जो Z- टेस्ट पास नहीं करेगा।इस सहसंबंध ने डिजाइनरों को प्रत्येक परत के सही संतुलन के लिए कन्वेयर की अड़चन के स्थान का अनुमान लगाया। डायरेक्टएक्स 10 में एक और चरण के आगमन के साथ - ज्यामितीय शेडर, एनवीडिया इंजीनियरों को क्रिस्टल को संतुलित करने के कठिन कार्य का सामना करना पड़ा, बिना यह जाने कि इस चरण का कितनी सक्रियता से उपयोग किया जाएगा। यही परिवर्तन का समय है।टेस्ला
एनवीडिया ने 2006 में जारी "एकीकृत" टेस्ला वास्तुकला की मदद से बढ़ती जटिलता की समस्या को हल किया।G80 क्रिस्टल में परतों के बीच कोई अंतर नहीं था। वर्टेक्स, टुकड़ा और ज्यामितीय "कोर" को निष्पादित करने की क्षमता के कारण, धारा मल्टीप्रोसेसर (स्ट्रीम मल्टीप्रोसेसर, एसएम) ने पहले से मौजूद सभी ब्लॉकों को बदल दिया है। लोड बैलेंसिंग स्वचालित रूप से किया गया था, प्रत्येक एसएम द्वारा किए गए "कोर" के प्रतिस्थापन के लिए धन्यवाद, कन्वेयर की आवश्यकताओं के आधार पर।"वास्तव में, हमने पूरे NV30 / NV40 शेडर आर्किटेक्चर को बाहर फेंक दिया और स्क्रैच से सार्वभौमिक प्रोसेसर (SIMT) के लिए एक नए सामान्य आर्किटेक्चर के साथ एक नया बनाया, जिसने नए प्रोसेसर डिजाइन के तरीके भी पेश किए।"
जॉन एल्बेन (extremetech.com साक्षात्कार)
अब SIMD निर्देशों को निष्पादित करने में सक्षम नहीं है, “shader block” “kernels” में बदल गया है, जो एक पूर्णांक निर्देश या फ्लोट 32 प्रति चक्र के साथ एक निर्देश निष्पादित करने में सक्षम है। एसएम को 32 धागों के समूहों में धागे मिलते हैं, जिन्हें ताना कहा जाता है। आदर्श रूप से, एक ही ताना के सभी धागे एक ही समय में एक ही निर्देश को निष्पादित करते हैं, केवल अलग-अलग डेटा के लिए (इसलिए नाम SIMT)। मल्टी-थ्रेडेड इंस्ट्रक्शन यूनिट (MT) अपने निर्देश सूचक (इंस्ट्रक्शन पॉइंटर, आईपी) को बदलने / अस्वीकार करने पर थ्रेड्स में थ्रेड्स को सक्षम / अक्षम करने में लगे हुए हैं।दो एसएफयू आपको जटिल गणितीय गणना करने में मदद करते हैं, जैसे कि व्युत्क्रम वर्गमूल, पाप, कॉस, एक्सपी और आरसीपी। ये ब्लॉक प्रति चक्र एक निर्देश को निष्पादित करने में भी सक्षम हैं, लेकिन चूंकि उनमें से केवल दो हैं, इसलिए ताना की गति को चार में विभाजित किया गया है। फ्लोट64 के लिए कोई हार्डवेयर समर्थन नहीं है, गणना प्रोग्रामेटिक रूप से की जाती है, जो निष्पादन की गति को बहुत प्रभावित करती है।एसएम को अपनी अधिकतम क्षमता का एहसास तब होता है जब वह विवादास्पद ताना एस की निरंतर उपस्थिति के कारण स्मृति विलंब को छिपाने में सक्षम होता है, लेकिन यह भी जब ताना में प्रवाह विचलन नहीं करता है (नियंत्रण तर्क निर्देशों को निष्पादित करने के उसी रास्ते पर रखता है)। स्ट्रीम स्टेट्स को 4 किलोबाइट रजिस्टर फाइल्स (रजिस्टर फाइल, आरएफ) में स्टोर किया जाता है। स्टैक पर बहुत अधिक स्थान लेने वाले धागे संभव थ्रेड्स की संख्या को कम करते हैं जो प्रदर्शन को कम करते हुए एक ही समय में चल सकते हैं।टेस्ला जनरेशन का फ्लैगशिप क्रिस्टल GeForce 8800 GTX में पेश किया गया 90nm G80 था। दो एसएम एक टेक्सचर प्रोसेसर क्लस्टर (टीपीसी) में एक टेक्सचर यूनिट और टेक्स एल 1 कैश के साथ संयुक्त होते हैं। यह वादा किया गया था कि 8 TPC और 128 कोर के साथ G80 345.6 गीगाफ्लॉप्स उत्पन्न करता है [3]। 8800 GTX कार्ड एक समय में बेहद लोकप्रिय था, इसे अद्भुत समीक्षा मिली और उन लोगों के साथ प्यार हो गया जो इसे बर्दाश्त कर सकते थे। यह एक ऐसा उत्कृष्ट उत्पाद निकला, जिसके जारी होने के तेरह महीने बाद, यह बाजार में सबसे तेज जीपीयू में से एक बना रहा।G80 8800 GTX में स्थापित किया गया। रेंडर आउटपुट इकाइयाँ (ROP) स्मूथिंग करती हैं।टेस्ला के साथ मिलकर एनवीडिया ने C99 भाषा के एक सुपरसेट कंपीटिट यूनिफाइड डिवाइस आर्किटेक्चर (CUDA) के लिए C प्रोग्रामिंग लैंग्वेज पेश की। GPGPU के उत्साही, जिन्होंने GLSL टेक्स्ट और शेडर्स के साथ GPU को धोखा देने के विकल्प का स्वागत किया, को यह पसंद आया।हालांकि मैं मुख्य रूप से इस खंड में एसएम के बारे में बात करता हूं, यह सिस्टम का केवल एक आधा था। एसएम में, GPU की मेमोरी में संग्रहीत निर्देशों और डेटा को स्थानांतरित करना आवश्यक है। डाउनटाइम से बचने के लिए, GPU बड़े कैश का उपयोग करके मेमोरी ट्रांसफर को कम करने की कोशिश नहीं करते हैं और यह अनुमान लगाते हैं कि सीपीयू कैसे करता है। GPU, विलंबता का लाभ उठाते हैं, हजारों धागे की I / O जरूरतों को पूरा करने के लिए मेमोरी बस को संतृप्त करते हैं। इसके लिए, एक चिप (उदाहरण के लिए, G80) छह दो-तरफा DRAM मेमोरी बसों का उपयोग करके उच्च मेमोरी बैंडविड्थ का एहसास करता है।GPU मेमोरी लेटेंसी का लाभ उठाते हैं, जबकि CPU उन्हें एक विशाल कैश और भविष्यवाणी तर्क के साथ छिपाते हैं।फर्मी
टेस्ला एक जोखिम भरा कदम था जो बहुत सफल साबित हुआ। यह इतना सफल था कि यह अगले दो दशकों के लिए एनवीडिया जीपीयू का आधार बन गया।« , , (Fermi , Maxwell ), , G80, [Pascal]».
( extremetech.com)
2010 में, Nvidia ने GF100 को जारी किया, जो बिल्कुल नए फर्मी आर्किटेक्चर पर आधारित है। इसके नवीनतम चिप के अंदरूनी हिस्से को फर्मी तकनीकी दस्तावेज [4] में विस्तार से वर्णित किया गया है ।निष्पादन मॉडल अभी भी एसएम को भेजे गए 32 धागे के ताना पर आधारित है। एनवीआईडीआईए 40-नैनोमीटर प्रक्रिया प्रौद्योगिकी के लिए केवल सभी संकेतकों को दोगुना / चौगुनी करने में कामयाब रहा। 16 CUDA कोर के दो सरणियों के लिए धन्यवाद, एसएम अब एक साथ दो अर्ध-ताना (प्रत्येक में 16 धागे) भेजने के लिए सक्षम था। इस तथ्य के बावजूद कि प्रत्येक कोर ने प्रति घड़ी चक्र में एक निर्देश निष्पादित किया, एसएम अनिवार्य रूप से प्रति घड़ी चक्र (टेस्ला आर्किटेक्चर एसएम से चार गुना अधिक) में एक ताना निर्देश को बाहर करने में सक्षम था।एसएफयू की संख्या भी बढ़ी है, लेकिन इतना नहीं - क्षमता केवल दोगुनी हो गई है। यह निष्कर्ष निकाला जा सकता है कि इस प्रकार के निर्देशों का बहुत सक्रिय रूप से उपयोग नहीं किया गया था।फ्लोट64 के लिए अर्ध-हार्डवेयर समर्थन है, जो दो सीयूडीए कोर द्वारा किए गए संचालन को जोड़ती है। 32-बिट ALU (टेस्ला में यह 24-बिट था) के लिए धन्यवाद, GF100 एक चक्र में पूर्णांक गुणन प्रदर्शन कर सकता है, और IEEE 754-1985 से IEEE 754-2008 में संक्रमण के कारण फ्यूड मल्टीप्ली का उपयोग करके फ्लोट 32 पाइपलाइन के साथ काम करने में सटीकता बढ़ गई है। -एडी (एफएमए) (टेस्ला एमएडी में उपयोग किए गए से अधिक सटीक)।एक प्रोग्रामिंग दृष्टिकोण से, फर्मी की एकीकृत मेमोरी सिस्टम ने CUDA C को C ++ फीचर्स जैसे कि ऑब्जेक्ट, वर्चुअल मेथड्स और अपवादों के साथ पूरक करना संभव बनाया।इस तथ्य के कारण कि बनावट ब्लॉक अब एसएम हैं, टीपीसी की अवधारणा को छोड़ दिया गया था। इसे ग्राफिक्स प्रोसेसर क्लस्टर्स (जीपीसी) क्लस्टर द्वारा प्रतिस्थापित किया गया है, प्रत्येक में चार एसएम हैं। अंतिम लेकिन कम से कम, एसएम को अब पॉलीमॉर्फ इंजन के साथ उपहार में दिया गया है, जो वर्टिस प्राप्त करने, व्यूपोर्ट और टेसलेशन को बदलने से संबंधित है। GF100 पर आधारित प्रमुख GeForce GTX 480 को 512 कोर के रूप में विज्ञापित किया गया था और 1,345 गीगाफ्लॉप [5] प्रदान करने में सक्षम था ।GF100 GeForce GTX 480 में स्थापित किया गया है। GPC की सेवा करने वाले छह मेमोरी कंट्रोलर पर ध्यान दें।केपलर
2012 में, एनवीडिया ने केप्लर वास्तुकला को जारी किया, जिसका नाम एक ज्योतिषी के नाम पर रखा गया, जिसे ग्रह गति के नियमों की खोज के लिए जाना जाता है। हमेशा की तरह, तकनीकी दस्तावेज GK104 [6] ने हमें अंदर देखने की अनुमति दी ।केपलर में, एनवीडिया ने घड़ी की गति को कम करके और कार्ड आवृत्ति के साथ कोर आवृत्ति को जोड़कर चिप की ऊर्जा दक्षता में काफी सुधार किया है (पहले उनकी आवृत्ति दोगुनी थी)।इस तरह के बदलावों से उत्पादकता में कमी आई है। हालांकि, एक हल्की प्रक्रिया प्रौद्योगिकी (28 नैनोमीटर) के लिए धन्यवाद और एक सॉफ्टवेयर एक के साथ हार्डवेयर डिस्पैचर की जगह, एनवीडिया चिप पर न केवल अधिक एसएम लगाने में सक्षम था, बल्कि उनके डिजाइन में सुधार भी कर सकता था।नेक्स्ट जेनरेशन स्ट्रीमिंग मल्टीप्रोसेसर (SMX) एक राक्षस है, जिसके लगभग सभी संकेतक दोगुने या तिगुने हो गए हैं।चार वॉर डिस्पैचर्स के लिए धन्यवाद, जो एक घड़ी चक्र में एक पूरे ताना को संसाधित करने में सक्षम है (फर्मी केवल ताना के आधे हिस्से को संसाधित कर सकती है), एसएमएक्स में अब 196 कोर थे। प्रत्येक डिस्पैचर में दोहरी डिस्पैचिंग होती थी, जो वर्तमान निष्पादन योग्य निर्देश से स्वतंत्र होने पर दूसरे निर्देश को युद्ध में निष्पादित करने की अनुमति देती थी। दोहरी समय-निर्धारण हमेशा संभव नहीं था क्योंकि 32 कोर का एक स्तंभ दो समय-निर्धारण कार्यों के लिए सामान्य था।इस तरह की योजना शेड्यूलिंग लॉजिक को जटिल बना देती है (हम बाद में इस पर लौट आएंगे), लेकिन प्रति चक्र में छह ताना निर्देशों के निष्पादन के लिए धन्यवाद, एसएमएक्स ने फ़र्मी वास्तुकला एसएम की तुलना में दो बार प्रदर्शन प्रदान किया।यह दावा किया गया था कि फ्लैगशिप NVIDIA GeForce GTX 680 एक GK104 क्रिस्टल और आठ SMX में 1536 कोर है, जो 3,250 गीगाफ्लॉप्स [7] तक पहुंचता है।। क्रिस्टल के तत्व इतने जटिल हो गए कि मुझे आरेख से सभी हस्ताक्षर हटाने पड़े।GK104 GeForce GTX 680 में स्थापित किया गया है। 6 गीगाहर्ट्ज़ की लुभावनी आवृत्ति के साथ काम करते हुए, पूरी तरह से पुन: डिज़ाइन की गई मेमोरी सबसिस्टम पर ध्यान दें। उन्होंने मेमोरी कंट्रोलर्स की संख्या को छह से घटाकर चार करने की अनुमति दी।मैक्सवेल
2014 में, एनवीडिया ने मैक्सवेल नामक दसवीं पीढ़ी के जीपीयू को जारी किया। जैसा कि GM107 तकनीकी दस्तावेज [8] में कहा गया है , वास्तुकला की पहली पीढ़ी का आदर्श वाक्य था "प्रत्येक भस्म के लिए अधिकतम ऊर्जा दक्षता और असाधारण प्रदर्शन।" कार्ड "लैपटॉप और छोटे फॉर्म फैक्टर (SFF) पीसी जैसे शक्ति-सीमित वातावरण" के लिए तैनात किए गए थे।सबसे महत्वपूर्ण निर्णय एसएम में CUDA कोर की संख्या के साथ केपलर संरचना को छोड़ना था, जो दो की शक्ति नहीं है: कुछ गुठली आम हो गई और आधे ताना मोड में काम पर लौट आया। वास्तुकला के इतिहास में पहली बार, एसएमएम में अपने पूर्ववर्ती की तुलना में कम कोर थे: "केवल" 128 कोर।कोर और ताना आकार की संख्या में मिलान से क्रिस्टल विभाजन में सुधार हुआ, जिसके परिणामस्वरूप अंतरिक्ष और ऊर्जा की बचत हुई।एक 2014 एसएमएम में 2006 में पूरे जीटीएक्स 8800 के रूप में कई कोर (128) थे।दूसरी पीढ़ी के मैक्सवेल (तकनीकी दस्तावेज GM200 [9] में वर्णित ) ने पहली पीढ़ी की ऊर्जा दक्षता को बनाए रखते हुए उत्पादकता में काफी वृद्धि की है।प्रक्रिया प्रौद्योगिकी 28 नैनोमीटर पर बनी हुई है, इसलिए उत्पादकता बढ़ाने के लिए एनवीडिया इंजीनियर सरल लघुकरण का सहारा नहीं ले सकते। हालांकि, एसएमएम कोर की संख्या में कमी ने उनके आकार को कम कर दिया है, जिसके कारण अधिक एसएमएम को चिप पर रखा जा सकता है। केपलर की तुलना में, मैक्सवेल की दूसरी पीढ़ी ने एसएमएम की संख्या दोगुनी कर दी, जबकि इसके क्रिस्टल क्षेत्र में केवल 25% की वृद्धि हुई।एन्हांसमेंट की सूची में, आप सरलीकृत प्रेषण तर्क भी पा सकते हैं, जिसने प्रेषण के निरर्थक अतिरेक की संख्या और गणना की देरी को कम करने की अनुमति दी, जिसने ताना उपयोग की इष्टतमता में वृद्धि सुनिश्चित की। इसके अलावा, मेमोरी फ़्रीक्वेंसी में 15% की वृद्धि हुई थी।मैक्सवेल GM200 ब्लॉक आरेख का अध्ययन करना पहले से ही आपकी आँखों को तनाव देना शुरू कर रहा है। लेकिन हम अभी भी इसे ध्यान से जांचते हैं। फ्लैगशिप NVIDIA GeForce GTX 980 Ti कार्ड के साथ GM200 क्रिस्टल और 24 SMM ने 3072 कोर और 6,060 गीगाफ्लॉप [10] का वादा किया ।GM200 GeForce GTX 980 Ti में स्थापित है।पास्कल
2016 में, एनवीडिया ने पास्कल को पेश किया। GP104 टेक्निकल डॉक्यूमेंटेशन [11] एक déjà vu सनसनी छोड़ता है क्योंकि पास्कल एसएम बिल्कुल मैक्सिकन एसएमएम जैसा दिखता है। एसएम परिवर्तनों की कमी ने प्रदर्शन को स्थिर नहीं किया, क्योंकि 16-नैनोमीटर प्रक्रिया प्रौद्योगिकी ने हमें अधिक एसएम लगाने और गीगाफ्लॉप की संख्या को फिर से दोगुना करने की अनुमति दी।अन्य प्रमुख सुधारों में एक स्मृति प्रणाली थी जो सभी नए GDDR5X पर आधारित थी। 256-मेमोरी मेमोरी इंटरफ़ेस, आठ मेमोरी कंट्रोलरों के लिए धन्यवाद, 10 गीगाफ्लॉप्स की ट्रांसफर गति प्रदान की गई, मेमोरी बैंडविड्थ को 43% तक बढ़ाया और ताना एस के डाउनटाइम को कम किया।जीपी 102 चिप और 28 टीएसएम के साथ प्रमुख NVIDIA GeForce GTX 1080 टिया ने 3584 कोर और 11,340 गीगाफ्लॉप [12] का वादा किया ।GP104 GeForce GTX 1080 में स्थापित है।ट्यूरिंग
2018 में ट्यूरिंग की रिलीज़ के साथ, एनवीडिया ने "दस वर्षों में सबसे बड़ा वास्तुशिल्प कदम" बनाया [13] । ट्यूरिंग एसएम में, न केवल कृत्रिम बुद्धिमत्ता के साथ विशेष सेंसर कोर दिखाई दिए, बल्कि किरण अनुरेखण (राउटरिंग, आरटी) के लिए कोर भी हैं। इस तरह की एक खंडित संरचना मुझे स्तरित वास्तुकला की याद दिलाती है जो टेस्ला से पहले मौजूद थी, और यह एक बार फिर साबित करता है कि इतिहास दोहराव से प्यार करता है।नए कोर के अलावा, तीन महत्वपूर्ण विशेषताएं ट्यूरिंग में दिखाई दी हैं। सबसे पहले, CUDA कर्नेल अब सुपरसेलकर बन गया है, जो पूर्णांकों और फ्लोटिंग-पॉइंट नंबरों के साथ निर्देशों के समानांतर निष्पादन की अनुमति देता है। यदि आप 1996 पाते हैं, तो यह आपको इंटेल के "इनोवेटिव" आर्किटेक्चर की याद दिला सकता है।दूसरे, 16 नियंत्रकों द्वारा समर्थित GDDR6X पर नया मेमोरी सबसिस्टम, अब 14 गीगाफ्लॉप्स प्रदान करने में सक्षम है।तीसरा, धाराओं में अब सामान्य अनुदेश बिंदु (आईपी) नहीं हैं। वोल्टा में स्वतंत्र थ्रेड शेड्यूलिंग के लिए धन्यवाद, प्रत्येक थ्रेड का अपना आईपी है। इसके परिणामस्वरूप, SMs अधिक लचीले ढंग से जितनी जल्दी हो सके अभिसरण की आवश्यकता के बिना ताना में प्रेषण प्रवाह को कॉन्फ़िगर कर सकते हैं।TU102 और 68 TSM क्रिस्टल के साथ प्रमुख NVIDIA GeForce GTX 2080 Ti में 4352 हैं और यह 13 45 गिगाफ्लॉप्स [14] तक पहुंचता है । मैंने एक ब्लॉक आरेख नहीं बनाया, क्योंकि यह एक धुंधले हरे धब्बे जैसा दिखेगा।हमें आगे क्या इंतजार है
अफवाहों के अनुसार, अगले आर्किटेक्चर, कोड-नाम एम्पीयर, की घोषणा 2020 में की जाएगी। जैसा कि आईस ने आइस लेक उदाहरण के साथ साबित किया कि 7-नैनोमीटर प्रक्रिया प्रौद्योगिकी का उपयोग करके अभी भी लघुकरण की संभावना है, इसमें कोई संदेह नहीं है कि एनवीडिया एसएम को कम करने और अपने प्रदर्शन को दोगुना करने के लिए इसका उपयोग करता है।प्रत्येक एनवीडिया चिप / कार्ड (डेटा स्रोत: techpowerup.com) के लिए टेराफ्लॉप्स / एस।यह देखना दिलचस्प होगा कि एनवीडिया तीन प्रकार के कोर वाले क्रिस्टल के विचार के विकास को कैसे जारी रखता है जो अलग-अलग कार्य करते हैं। क्या हम क्रिस्टल, टेंसोर कोर या आरटी कोर की पूरी स्थिति देखेंगे? जिज्ञासु।संदर्भ वस्तु
[1] स्रोत: रिविजिटिंग बिजनेस कार्ड Raytracer[2] स्रोत: फर्मी: प्रथम पूर्ण GPU कम्प्यूटिंग वास्तुकला[3] स्रोत: NVIDIA GeForce 8800 GTX (techpowerup.com)[4] स्रोत: फर्मी (GF100) श्वेतपत्र[5] स्रोत: NVIDIA GeForce GTX 480[6] स्रोत: केप्लर (GK104) श्वेतपत्र[7] स्रोत: NVIDIA GeForce GTX 680[8] स्रोत: मैक्सवेल Gen1 (GM107) श्वेतपत्र[9] स्रोत: मैक्सवेल Gen2 (GM200) श्वेतपत्र[10] स्रोत: NVIDIA GeForce GTX 980 Ti[11] स्रोत: पास्कल (GP102) व्हाइटपेपर[12] स्रोत:NVIDIA GeForce GTX 1080 Ti[13] स्रोत: ट्यूरिंग (TU102) व्हाइटपेपर[14] स्रोत: NVIDIA GeForce GTX 2080 Ti