جيل تحت السيطرة: كيفية كبح نماذج اللغة القوية

مقدمة

إذا لم تكن قد أفرطت في النوم في العامين الماضيين ، فأنت بالطبع قد سمعت من المحولات - الهندسة المعمارية من الانتباه القانوني هي كل ما تحتاجه . لماذا المحولات جيدة جدا؟ على سبيل المثال ، يتجنبون التكرار ، مما يمكّنهم من إنشاء تمثيل بيانات بكفاءة يمكن من خلاله دفع الكثير من المعلومات السياقية ، مما يؤثر بشكل إيجابي على القدرة على إنشاء النصوص والقدرة غير المسبوقة على نقل التعلم.

أطلقت المحولات مجموعة كبيرة من العمل على نمذجة اللغة - وهي مهمة يختار فيها النموذج الكلمة التالية ، مع مراعاة احتمالات الكلمات السابقة ، أي معرفة p(x)مكان xالرمز الحالي. كما قد تخمن ، فإن هذه المهمة لا تتطلب ترميزًا على الإطلاق ، وبالتالي من الممكن استخدام صفائف ضخمة غير ملحوظة من النص فيها. يمكن للنموذج اللغوي المدرب بالفعل أن يولد نصًا جيدًا لدرجة أن المؤلفين يرفضون أحيانًا وضع نماذج مدربة .

ولكن ماذا لو أردنا إضافة بعض "الأقلام" إلى جيل النص؟ على سبيل المثال ، قم بالإنشاء الشرطي من خلال تعيين سمة أو التحكم في السمات الأخرى. يتطلب مثل هذا النموذج بالفعل احتمالية مشروطة p(x|a)، حيث aتكون السمة المطلوبة. مثير للإعجاب؟ دعنا نذهب تحت الخفض!

نماذج لغة التوصيل والتشغيل: طريقة بسيطة لتوليد النص المتحكم فيه

يقدم مؤلفو المقالة نهجًا بسيطًا (وبالتالي التوصيل والتشغيل) وأنيقًا للتوليد الشرطي ، باستخدام نموذج لغة ثقيل مسبق التدريب (من الآن فصاعدًا LM) والعديد من المصنفات البسيطة ، وبالتالي أخذ العينات من توزيع العرض p(x|a) ∝ p(a|x)p(x). وتجدر الإشارة إلى أن LM الأصلي لا يتم تعديله بأي شكل من الأشكال. يقترح المؤلفان شكلين من المصنفات ، تسمى نماذج السمات في المقالة: BoW للتحكم في الموضوع والمصنف الخطي للتحكم في الدرجة اللونية. يقوم المؤلفون بتحليل مفصل إلى حد ما لمساهماتهم الرئيسية ، ويقارنون أفكار وأساليب طريقتهم بمقالات أخرى. واحدة من أهم النقاط هي سهولة الاقتراب ، وهنا ، ربما ، ما

عليك سوى إلقاء نظرة على هذه اللوحة: يمكن ملاحظة أن PPLM تتفوق على جميع المنافسين في عدد المعلمات.

فك تشفير مرجح 2.0

Uber weighted decoding: , . , , . , . , , , .

Uber : , LM, . , , , ( , ) . ( perturb_past — , .

? log-likelihood: p(x) a attribute model p(a|x). , backward pass .

log-likelihood? , :

, , LM. , fluency LM.

, :

forward pass LM, p(a|x) — attribute model. backward pass, , attribute model, , . , .

, : “” k k forward backward pass’, n. LM forward pass. , : ( num of iterations=3 gen length=5, ).

, ( colab , ) , , , “the kitten” “military” :

• The kitten is a creature with no real personality, it is just a pet. You can use it as a combat item.
• The kitten that is now being called the "suspected killer" of a woman in a San Diego apartment complex was shot by another person who then shot him, according to authorities.

combat, shot, killer — , military. LM :

• The kitten that escaped a cage has been rescued from a cat sanctuary in Texas.
  
• The cat, named "Lucky," was found wandering in the back yard of the Humane Society at the time of the incident on Friday.
  

attribute models

, BoW discriminator. :

p_t+1 — LM, w_i — i- .
Discriminator model , BoW, , , , . , .

, LM, LM weighted decoding CTRL (conditional LM). fluency , , perplexity . PPLM :

:

• B — baseline, GPT-2 LM;
• BR — , B, r , log-likelihood ;
• BC — , ;
• BCR — , BC, r , log-likelihood ;
• CTRL — Keskar et al, 2019;
• GPT2-FT-RL — GPT2, fine-tuned RL ;
• WD — weighted decoding, p(a|x);

— , LM, . , , - :)