Get best of the week

Mengapa persyaratan AI hanya dapat memperburuk masalah

Dengan menciptakan jaringan saraf yang lebih transparan, kita bisa mulai terlalu mempercayai mereka. Mungkin perlu mengubah metode yang mereka gunakan untuk menjelaskan pekerjaan mereka.




Apol Esan pernah diadili mengambil naik mobil robot dari Uber. Alih-alih mengkhawatirkan kursi pengemudi yang kosong, penumpang diminta untuk menonton layar "menenangkan", yang menunjukkan bagaimana mobil melihat jalan: bahaya ditarik oranye dan merah, area aman berwarna biru gelap.

Bagi Esan, yang mempelajari interaksi orang dengan AI di Institut Teknologi Georgia di Atlanta, pesan yang mereka coba sampaikan kepadanya dapat dimengerti: "Jangan khawatir, ini adalah alasan mengapa mesin berperilaku seperti ini." Namun, sesuatu dalam citra alien jalan tidak meyakinkan, tetapi lebih menekankan keanehan dari apa yang terjadi. Esan bertanya-tanya: bagaimana jika robomobile benar-benar bisa menjelaskan?

Keberhasilan pembelajaran mendalam didasarkan pada pengambilan kode yang tidak pasti: jaringan saraf terbaik menyesuaikan dan beradaptasi untuk meningkatkan mereka lebih lanjut, dan hasil praktis melampaui pemahaman teoritis mereka. Singkatnya, detail tentang bagaimana model yang dilatih bekerja biasanya tidak diketahui. Kita sudah terbiasa memikirkan AI sebagai kotak hitam.

Dan sebagian besar waktu cocok untuk kita - ketika datang ke tugas-tugas seperti bermain go, menerjemahkan teks, atau mengambil seri berikutnya dengan Netflix. Tetapi jika AI digunakan untuk membantu membuat keputusan di bidang-bidang seperti penegakan hukum, diagnosa medis, dan kendaraan robot, maka kita perlu memahami bagaimana ia membuat keputusannya dan tahu kapan mereka ternyata salah.

Orang membutuhkan kesempatan untuk tidak setuju dengan solusi otomatis atau menolaknya, kata Iris Hawley , seorang spesialis IT di Williams College di Williamsstown, Massachusetts. Dan tanpa itu, orang akan menolak teknologi ini. "Sudah sekarang Anda dapat mengamati bagaimana ini terjadi, dalam bentuk reaksi orang terhadap sistem pengenalan wajah," katanya.

Esan adalah bagian dari sekelompok kecil peneliti yang sedang berusaha meningkatkan kemampuan AI untuk menjelaskan dan membantu kami mengintip ke dalam kotak hitam. Tujuan menciptakan apa yang disebut ditafsirkan atau dijelaskan oleh AI (III) adalah untuk membantu orang memahami tanda-tanda data apa yang benar-benar dipelajari jaringan saraf - dan memutuskan apakah model yang dihasilkan ternyata akurat dan tidak bias.

Salah satu solusinya adalah menciptakan sistem pembelajaran mesin (MO) yang menunjukkan bagian dalam pekerjaan mereka - yang disebut akuarium AI, bukan AI di kotak hitam. Model akuarium biasanya merupakan versi NS yang disederhanakan secara radikal, di mana lebih mudah untuk melacak bagaimana masing-masing bagian data memengaruhi model.

“Ada orang-orang di komunitas ini yang mendesak penggunaan model akuarium dalam situasi berisiko tinggi,” kataJennifer Worthman Vaughn , Spesialis TI di Microsoft Research. "Dan secara keseluruhan, aku setuju." Model akuarium sederhana dapat bekerja sama baiknya dengan NS yang lebih kompleks, pada tipe data terstruktur tertentu, seperti tabel atau statistik. Dan dalam beberapa kasus ini sudah cukup.

Namun, itu semua tergantung area kerja. Jika kita ingin belajar dari data fuzzy seperti gambar atau teks, kita tidak punya pilihan selain menggunakan jaringan neural yang dalam - dan karenanya buram. Kemampuan NS tersebut untuk menemukan koneksi yang berarti antara sejumlah besar fitur yang berbeda terkait dengan kompleksitasnya.

Dan bahkan di sini, akuarium MO dapat membantu. Salah satu solusinya adalah melalui data dua kali, melatih model akuarium yang tidak sempurna sebagai langkah debugging untuk menangkap potensi kesalahan yang ingin Anda perbaiki. Setelah membersihkan data, Anda juga dapat melatih model AI yang lebih akurat dalam kotak hitam.

Namun, keseimbangan seperti itu sulit dipertahankan. Terlalu banyak transparansi dapat menyebabkan informasi terlalu banyak. Dalam sebuah studi dari 2018, yang meneliti interaksi pengguna yang tidak terlatih dengan alat MO, Vaughn menemukan bahwa model transparan sebenarnya dapat mempersulit pencarian dan koreksi kesalahan model.

Pendekatan lain adalah dengan memasukkan visualisasi yang menunjukkan beberapa properti kunci dari model dan data yang mendasarinya. Idenya adalah untuk mengidentifikasi masalah serius dengan mata. Sebagai contoh, model mungkin terlalu bergantung pada atribut tertentu, yang mungkin merupakan sinyal untuk bias.

Alat visualisasi ini menjadi sangat populer dalam waktu singkat. Tetapi apakah ada gunanya bagi mereka? Dalam studi pertama semacam ini, Vaughn dan tim mencoba menjawab pertanyaan ini, dan akhirnya menemukan beberapa masalah serius.

Tim mengambil dua alat interpretatif populer yang memberikan gambaran umum model dengan bantuan grafik dan bagan, di mana dicatat data apa yang menjadi perhatian utama model selama pelatihan. Sebelas profesional AI dengan berbagai latar belakang, latar belakang, dan latar belakang telah dipekerjakan dari Microsoft. Mereka mengambil bagian dalam simulasi interaksi dengan model MO, dilatih tentang data pendapatan nasional dari Sensus Amerika Serikat 1994. Eksperimen ini dirancang khusus untuk mensimulasikan bagaimana data ilmuwan menggunakan alat interpretasi untuk melakukan tugas sehari-hari mereka.

Tim menemukan sesuatu yang luar biasa. Ya, terkadang alat membantu orang menemukan nilai yang hilang dalam data. Namun, semua manfaat ini telah memudar dibandingkan dengan kecenderungan kepercayaan yang berlebihan dalam visualisasi, serta kesalahan dalam pemahaman mereka. Kadang-kadang pengguna bahkan tidak bisa menggambarkan apa yang sebenarnya ditunjukkan oleh visualisasi. Hal ini menyebabkan asumsi yang salah mengenai kumpulan data, model, dan alat interpreting itu sendiri. Ini juga menginspirasi kepercayaan salah pada alat dan membangkitkan antusiasme untuk menerapkan model ini, meskipun kadang-kadang tampaknya para peserta bahwa ada sesuatu yang salah. Yang tidak menyenangkan, itu bekerja bahkan ketika outputnya di-tweak secara khusus sehingga penjelasan dari karya tersebut tidak masuk akal.

Untuk mengkonfirmasi temuan, para peneliti melakukan survei online di antara 200 profesional di bidang Moskow, tertarik melalui milis dan jejaring sosial. Mereka menemukan kebingungan yang sama dan keyakinan yang tidak berdasar.

Lebih buruk lagi, banyak peserta survei yang bersedia menggunakan visualisasi untuk membuat keputusan tentang implementasi model, meskipun mengakui bahwa mereka tidak memahami matematika yang mendasarinya. "Sangat mengejutkan melihat orang-orang membenarkan keanehan dalam data dengan memberikan penjelasan untuk ini," kata Harmanpreet Kaur dari University of Michigan, penulis penelitian ini. "Distorsi otomatisasi adalah faktor yang sangat penting yang belum kami pertimbangkan."

Oh, ini adalah distorsi otomatisasi. Dengan kata lain, orang cenderung mempercayai komputer. Dan ini bukan fenomena baru. Dari autopilot pesawat ke sistem pemeriksaan ejaan, di mana-mana, menurut penelitian, orang sering cenderung mempercayai solusi sistem, bahkan ketika mereka jelas salah. Tetapi ketika ini terjadi dengan alat yang dirancang khusus untuk memperbaiki hanya fenomena ini, kita memiliki masalah yang lebih besar.

Apa yang bisa dilakukan tentang ini? Beberapa percaya bahwa bagian dari masalah gelombang pertama III terhubung dengan fakta bahwa para peneliti dari Departemen Pertahanan mendominasi di dalamnya, yang sebagian besar adalah para ahli menggunakan sistem AI. Tim Miller dari University of Melbourne, mempelajari penggunaan sistem AI oleh orang-orang: "Ini adalah rumah sakit jiwa di bawah kendali psikopat."

Inilah yang Esan sadari di kursi belakang mobil Uber tanpa sopir. Akan lebih mudah untuk memahami apa yang dilakukan oleh sistem otomatis - dan melihat di mana kesalahannya - jika ia menjelaskan tindakannya seperti yang dilakukan seseorang. Esan dan koleganya, Mark Riddle , sedang mengembangkan sistem MO yang secara otomatis menghasilkan penjelasan serupa dalam bahasa alami. Dalam prototipe awal, pasangan ini mengambil jaringan saraf, dilatih untuk memainkan permainan klasik dari tahun 1980-an, Frogger, dan melatihnya untuk memberikan penjelasan sebelum setiap gerakan.


di antara mobil-mobil ... Saya tidak bisa melewati ... Saya akan menunggu kesenjangan ...

Untuk melakukan ini, mereka menunjukkan kepada sistem banyak contoh tentang bagaimana orang memainkan permainan ini, mengomentari tindakan dengan keras. Kemudian mereka mengambil jaringan saraf yang diterjemahkan dari satu bahasa ke bahasa lain, dan mengadaptasinya untuk menerjemahkan aksi permainan menjadi penjelasan dalam bahasa alami. Dan sekarang, ketika Majelis Nasional melihat suatu aksi dalam permainan, itu “menerjemahkannya” menjadi sebuah penjelasan. Hasilnya adalah AI yang bermain Frogger yang mengatakan hal-hal seperti "bergerak ke kiri untuk berada di belakang truk biru dengan setiap gerakan."

Karya Esan dan Riddle hanyalah permulaan. Pertama, tidak jelas apakah sistem MO akan selalu dapat menjelaskan aksinya dalam bahasa alami. Ambil AlphaZero dari DeepMind memainkan go board game. Salah satu fitur paling luar biasa dari program ini adalah ia dapat membuat langkah kemenangan yang bahkan tidak dapat dipikirkan oleh pemain manusia pada saat tertentu dalam permainan. Jika AlphaZero bisa menjelaskan gerakannya, apakah itu berarti?

Alasan dapat membantu, apakah kita memahaminya atau tidak, Esan mengatakan: "Tujuan dari III dengan fokus pada orang-orang tidak hanya membuat pengguna menerima apa yang dikatakan AI - tetapi juga menyebabkan beberapa pemikiran." Riddle ingat menonton siaran pertandingan antara DeepMind AI dan juara Korea Lee Sedol. Komentator membahas apa yang dilihat dan dipikirkan AlphaZero. "Tapi AlphaZero tidak bekerja seperti itu," kata Riddle. "Namun, bagi saya sepertinya komentar itu perlu untuk memahami apa yang terjadi."

Dan meskipun ini gelombang baru peneliti III, saya setuju bahwa jika lebih banyak orang menggunakan sistem AI, maka orang-orang ini harus mengambil bagian dalam desain sejak awal - dan orang yang berbeda membutuhkan penjelasan yang berbeda. Ini dikonfirmasi oleh penelitian baru oleh Howley dan rekan-rekannya, di mana mereka menunjukkan bahwa kemampuan orang untuk memahami visualisasi interaktif atau statis tergantung pada tingkat pendidikan mereka. Bayangkan AI mendiagnosis kanker, kata Esan. Saya ingin penjelasan yang diberikannya kepada ahli onkologi berbeda dari penjelasan untuk pasien.

Pada akhirnya, kami ingin AI dapat menjelaskan tidak hanya kepada para ilmuwan yang bekerja dengan data dan dokter, tetapi juga kepada polisi yang menggunakan sistem pengenalan gambar, guru menggunakan program analitik di sekolah, siswa yang mencoba memahami karya kaset di jejaring sosial - dan sebelum setiap orang di kursi belakang sebuah robomobile. "Kami selalu tahu bahwa orang cenderung terlalu memercayai teknologi, dan ini terutama berlaku untuk sistem AI," kata Riddle. "Semakin sering Anda menyebut sistem itu pintar, semakin banyak orang yakin bahwa itu lebih pintar daripada orang."

Penjelasan yang dapat dipahami semua orang dapat menghancurkan ilusi ini.

More articles:


All Articles