كيف تقيم الذكاء؟ نهج جوجل

نبذة عن "مقياس الذكاء"

هناك حاجة إلى تعريف مفيد عمليا للذكاء ومقاييسه.

تعريف الذكاء: نهجان متضاربان

• العقل هو مجموعة ثابتة من الآليات ذات الأغراض الخاصة التي يتم تشكيلها من قبل التطور لمهام معينة بشكل واضح. وجهة النظر هذه عن الداروينية وعلم النفس التطوري وعلماء الأعصاب يدعمون مفهوم الوحدة البيولوجية للوعي .
  تم تطوير فهم العقل كمجموعة واسعة من البرامج الرأسية الثابتة نسبيًا التي تشكل معًا "الذكاء" أيضًا بواسطة Marvin Minsky ، مما أدى في نهاية المطاف إلى فهم الذكاء الاصطناعي كمحاكاة للنتائج البشرية في قائمة معينة من مهام الاختبار.
• tabula rasa: العقل عبارة عن "ورقة نظيفة" ذات غرض غير محدد ، قادر على تحويل الخبرة التعسفية إلى معرفة ومهارات لحل أي مشكلة. هذا هو وجهة نظر آلان تورينج و connectionists . في هذا الفهم ، يتم تمثيل الذكاء من خلال استعارة حاسوب خارق ، وميكانيكيته المنخفضة المستوى تجعل من الممكن اكتساب مجموعة غير محدودة من المهارات "من الصفر" ، "وفقًا للبيانات".

تقييم الذكاء الاصطناعي: من تقييم المهارات إلى تقييم القدرات الواسعة

• عدم التعميم . أنظمة الذكاء الاصطناعي ، التي لا يوجد فيها عدم اليقين والجدة ، لا تثبت القدرة على التعميم ، على سبيل المثال: برنامج للعب tic-tac-toe ، والذي يفوز من خلال البحث الشامل للخيارات.
• التعميم المحلي ، أو "الموثوقية" ، هي قدرة النظام على معالجة نقاط جديدة من توزيع معروف لمهمة واحدة. على سبيل المثال ، تم إجراء تصنيف محلي من قبل مصنف الصور ، والذي يمكن أن يميز الصور التي لم تكن مرئية من قبل للقطط مع القطط من الصور المنسقة للكلاب بعد التدريب على العديد من الصور المماثلة للقطط والكلاب.
• , «» — : , , « ». , , « » ( ) [16], .
• . , , — « ». ( , , ).

1. المعيار المرجعي GLUE [13] و SuperGLUE [12] لمعالجة اللغات الطبيعية
2. بيئة التعلم الممرات لوكلاء التعلم المعزز [1] ،
3. منصة للتجارب والبحوث لمنظمة العفو الدولية "مشروع مالمو" ،
4. مجموعة تجربة Behavior Suite [8]

1. أولمبياد الحيوان- AI [2] ( animalaiolympics.com )
2. ومسابقة GVG-AI [9] ( gvgai.net ).

مفهوم جديد

1. النطاق ، الذي قد يكون أكثر أو أقل عرضًا ؛
2. درجة الكفاءة التي يحول بها النظام المعرفة والخبرة المسبقة إلى مهارات جديدة في مجال معين ؛
3. درجة تعقيد التعميم الذي تمثله نقاط مختلفة في المنطقة قيد النظر.

?

• , .
• ( ).
• :
  ◦ , – , ,
  ◦ , – (), () ( )
• يجب أن يتحكم في كمية الخبرة التي تستخدمها الأنظمة أثناء التدريب. ينبغي أن يكون من المستحيل "شراء" فعالية المعيار من خلال اختيار بيانات تدريب غير محدودة.
• وينبغي أن يقدم وصفا واضحا وشاملا لمجموعة المعارف الأولية المستخدمة.
• يجب أن يعمل بشكل محايد لكل من الأشخاص والآلات ، باستخدام نفس المعرفة التي يستخدمها الناس.

الاختبار المقترح: مجموعة بيانات ARC

• كل مهمة اختبار جديدة وتعتمد على مجموعة واضحة من المعرفة الأولية المشتركة بين جميع المشاركين في الاختبار.
• يمكن حلها تمامًا بواسطة الأشخاص ، ولكن لا يمكن تحقيقها بمساعدة أي تقنيات تعلُم آلي حالية (بما في ذلك التعلم العميق).
• يمكن أن يكون الاختبار "ملعبًا" مثيرًا للاهتمام للغاية لباحثي الذكاء الاصطناعي المهتمين بتطوير خوارزميات قادرة على التعميم الواسع الذي يعمل مثل الإنسان. بالإضافة إلى ذلك ، يمنحنا ARC الفرصة لمقارنة الذكاء البشري والآلي ، حيث نوفر لهم نفس المعرفة الأولية.

المؤلفات

• [1] . , , (Marc G. Bellemare, Yavar Naddaf, Joel Veness, and Michael Bowling). : (The arcade learning environment: An evaluation platform for general agents). . (J. Artif). Int. Res., (1):253–279, 2013.
• [2] , -, , , (Benjamin Beyret, Jos Hernndez-Orallo, Lucy Cheke, Marta Halina, Murray Shanahan, and Matthew Crosby). «-»: (The animal-AI environment: Training and testing animal — like artificial cognition), 2019.
• [3] , (Martin Buehler, Karl Iagnemma, and Sanjiv Singh). 2005 .: (The 2005 DARPA Grand Challenge: The Great Robot Race). Springer Publishing Company, Incorporated, 1- , 2007.
• [4] . (Raven J. John). (Raven Progressive Matrices). Springer, , M, 2003.
• [5] (James Macgregor and Yun Chu). : (Human performance on the traveling salesman and related problems: A review). The Journal of Problem Solving, 3, 02 2011.
• [6] (James Macgregor and Thomas Ormerod). (Human performance on the traveling salesman problem). Perception & psychophysics, 58:527–39, 06 1996.
• [7] (Pamela McCorduck). , : (Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence). AK Peters Ltd, 2004.
• [8] , , , , , , , , , . (Ian Osband, Yotam Doron, Matteo Hessel, John Aslanides, Eren Sezener, Andre Saraiva, Katrina McKinney, Tor Lattimore, Csaba Szepezvari, Satinder Singh, et al). (Behaviour suite for reinforcement learning), arXiv, arXiv:1908.03568, 2019.
• [9] -, , , , . (Diego Perez-Liebana, Jialin Liu, Ahmed Khalifa, Raluca D Gaina, Julian Togelius, and Simon M Lucas). : , (General video game AI: a multi-track framework for evaluating agents, games and content generation algorithms). arXiv arXiv: 1802.10363, 2018.
• [10] . . (David M. W. Powers). (The total Turing test and the loebner prize). , 1998.
• [11] A.. (A.M. Turing). (Computing machinery and intelligence). 1950.
• [12] , , , , , , . (Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman). SuperGLUE: (Superglue: A stickier benchmark for general-purpose language understanding systems.) 2019.
• [13] , , , , . (Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel R Bowman). Glue: (Glue: A multi-task benchmark and analysis platform for natural language understanding). 2018.
• [14] . (David H Wolpert). « »; (What the no free lunch theorems really mean; how to improve search algorithms).
• [15] .. .. (D.H. Wolpert and W.G. Macready). « » (No free lunch theorems for optimization). (IEEE Transactions on Evolutionary Computation), . 67–82, 1997.
• [16] . (Stephen G. Wozniak). (Three minutes with steve wozniak). PC World, 2007.