नियंत्रण में पीढ़ी: शक्तिशाली भाषा मॉडल को कैसे रोकें

पहचान

यदि आपने पिछले कुछ वर्षों की देखरेख नहीं की है, तो आप निश्चित रूप से, ट्रांसफॉर्मर से सुना है - विहित आकर्षण से वास्तुकला आपको सभी की आवश्यकता है । ट्रांसफार्मर इतने अच्छे क्यों हैं? उदाहरण के लिए, वे पुनरावृत्ति से बचते हैं, जो उन्हें कुशलतापूर्वक डेटा की ऐसी प्रस्तुति बनाने में सक्षम बनाता है जिसमें बहुत सारी प्रासंगिक जानकारी को धक्का दिया जा सकता है, जो पाठ को उत्पन्न करने की क्षमता और सीखने को स्थानांतरित करने की नायाब क्षमता को सकारात्मक रूप से प्रभावित करता है।

ट्रांसफॉर्मर्स ने भाषा मॉडलिंग पर काम का एक हिमस्खलन शुरू किया - एक कार्य जिसमें मॉडल अगले शब्द का चयन करता है, पिछले शब्दों की संभावनाओं को ध्यान में रखते हुए, अर्थात्, p(x)जहां xवर्तमान टोकन है , यह सीखना । जैसा कि आप अनुमान लगा सकते हैं, इस कार्य के लिए मार्कअप की आवश्यकता नहीं है, और इसलिए आप इसमें पाठ के विशाल अज्ञात नोटों का उपयोग कर सकते हैं। एक पहले से ही प्रशिक्षित भाषा मॉडल पाठ उत्पन्न कर सकता है, इतनी अच्छी तरह से कि लेखक कभी-कभी प्रशिक्षित मॉडल बिछाने से इनकार करते हैं ।

लेकिन क्या होगा अगर हम पाठ पीढ़ी में कुछ "पेन" जोड़ना चाहते हैं? उदाहरण के लिए, एक विषय निर्धारित करके या अन्य विशेषताओं को नियंत्रित करके सशर्त पीढ़ी करें। इस तरह के फॉर्म के लिए पहले से ही सशर्त संभाव्यता की आवश्यकता होती है p(x|a), जहां aवांछित विशेषता है। दिलचस्प? चलो कट के नीचे चलते हैं!

प्लग एंड प्ले लैंग्वेज मॉडल: ए सिंपल अप्रोच टू कंट्रोल्ड टेक्स्ट जेनरेशन

लेख के लेखक एक सरल (और इसलिए प्लग एंड प्ले) और सशर्त पीढ़ी के लिए सुरुचिपूर्ण दृष्टिकोण प्रदान करते हैं, एक भारी पूर्व प्रशिक्षित भाषा मॉडल (इसके बाद एलएम) और कई सरल क्लासिफायर का उपयोग करते हैं, जिससे एक दृश्य वितरण से नमूना लिया जाता है p(x|a) ∝ p(a|x)p(x)। यह ध्यान दिया जाना चाहिए कि मूल एलएम को किसी भी तरह से संशोधित नहीं किया गया है। लेखकों ने वर्गीकरण के दो रूपों का प्रस्ताव किया है, जिसे लेख में विशेषता मॉडल कहा जाता है: विषय नियंत्रण के लिए BoW और टन नियंत्रण के लिए एक रैखिक क्लासिफायरियर। लेखक अन्य लेखों के साथ अपने तरीके के विचारों और दृष्टिकोणों की तुलना करते हुए, उनके महत्वपूर्ण योगदान का काफी विस्तृत विश्लेषण करते हैं। सबसे महत्वपूर्ण बिंदुओं में से एक दृष्टिकोण की आसानी है, और यहां, शायद, बस इस प्लेट को देखें:

यह देखा जा सकता है कि PPLM मापदंडों की संख्या में सभी प्रतियोगियों से बेहतर प्रदर्शन करता है।

वेटेड डिकोडिंग 2.0

Uber weighted decoding: , . , , . , . , , , .

Uber : , LM, . , , , ( , ) . ( perturb_past — , .

? log-likelihood: p(x) a attribute model p(a|x). , backward pass .

log-likelihood? , :

, , LM. , fluency LM.

, :

forward pass LM, p(a|x) — attribute model. backward pass, , attribute model, , . , .

, : “” k k forward backward pass’, n. LM forward pass. , : ( num of iterations=3 gen length=5, ).

, ( colab , ) , , , “the kitten” “military” :

• The kitten is a creature with no real personality, it is just a pet. You can use it as a combat item.
• The kitten that is now being called the "suspected killer" of a woman in a San Diego apartment complex was shot by another person who then shot him, according to authorities.

combat, shot, killer — , military. LM :

• The kitten that escaped a cage has been rescued from a cat sanctuary in Texas.
  
• The cat, named "Lucky," was found wandering in the back yard of the Humane Society at the time of the incident on Friday.
  

attribute models

, BoW discriminator. :

p_t+1 — LM, w_i — i- .
Discriminator model , BoW, , , , . , .

, LM, LM weighted decoding CTRL (conditional LM). fluency , , perplexity . PPLM :

:

• B — baseline, GPT-2 LM;
• BR — , B, r , log-likelihood ;
• BC — , ;
• BCR — , BC, r , log-likelihood ;
• CTRL — Keskar et al, 2019;
• GPT2-FT-RL — GPT2, fine-tuned RL ;
• WD — weighted decoding, p(a|x);

— , LM, . , , - :)