Get best of the week

Para peneliti sedang mengembangkan pendekatan untuk mengurangi bias dalam dataset visi komputer

Terjemahan artikel disiapkan khusus untuk siswa program Computer Vision .

14 Februari 2020
Universitas Princeton, Departemen Teknik.



Ringkasan:
Untuk mengatasi masalah bias dalam kecerdasan buatan, para ilmuwan komputer telah mengembangkan metode untuk memperoleh set data yang lebih andal yang berisi gambar orang. Para peneliti menawarkan peningkatan pada ImageNet, database lebih dari 14 juta gambar, yang telah memainkan peran kunci dalam pengembangan visi komputer selama dekade terakhir.

ImageNet, yang mencakup gambar objek, lanskap, dan, khususnya, orang-orang, berfungsi sebagai sumber data pelatihan bagi para peneliti yang membuat algoritma pembelajaran mesin yang mengklasifikasikan gambar atau mengenali elemen individual di dalamnya. Skala ImageNet yang belum pernah terjadi sebelumnya membutuhkan pengumpulan dan anotasi gambar otomatis menggunakan crowdsourcing. Sementara kategori gambar orang dari database jarang digunakan oleh komunitas penelitian, tim ImageNet bekerja untuk menghilangkan bias dan sejumlah masalah lain yang terkait dengan gambar orang, yang merupakan konsekuensi yang tidak disengaja dari desain ImageNet.

"Hari ini, visi komputer bekerja cukup baik untuk diimplementasikan di mana-mana dalam berbagai konteks," kata rekan penulis Olga Russakovskaya, profesor ilmu komputer di Princeton. "Ini berarti bahwa sekarang adalah saatnya untuk berbicara tentang bagaimana pengaruhnya terhadap dunia dan berpikir tentang masalah kredibilitas."

Dalam sebuah artikel baru, tim ImageNet secara sistematis mengidentifikasi konsep-konsep non-visual dan kategori ofensif, seperti karakteristik ras dan seksual, untuk kategori gambar manusia ImageNet dan menyarankan untuk menghapusnya dari database. Para peneliti juga telah mengembangkan alat yang memungkinkan pengguna untuk mengidentifikasi dan mendapatkan set gambar orang yang seimbang berdasarkan usia, jenis kelamin dan warna kulit, untuk memfasilitasi algoritma yang sesuai untuk lebih mengklasifikasikan wajah orang dan tindakan mereka pada gambar. Para peneliti mempresentasikan karya mereka pada 30 Januari di sebuah konferensi tentang kejujuran, keandalan, dan transparansi Asosiasi Teknologi Komputasi di Barcelona, ​​Spanyol.

"Sangat penting untuk membawa perhatian diskusi ke laboratorium dan peneliti dengan pengalaman teknis mendasar," lanjut Russakovskaya. “Mengingat fakta bahwa kita perlu mengumpulkan data pada skala kolosal, dan fakta bahwa ini akan direalisasikan melalui crowdsourcing (karena ini adalah saluran pipa yang paling efisien dan terbukti dengan baik), muncul pertanyaan - bagaimana kita melakukan ini untuk memastikan yang terbesar keandalan tanpa menginjak menyapu yang biasa? Artikel ini terutama berfokus pada solusi desain. "

Sekelompok ilmuwan komputer di Princeton dan Stanford meluncurkan ImageNet pada 2009 sebagai sumber daya bagi para peneliti dan pendidik. Lulusan dan guru Princeton Fay-Fay Lee, sekarang seorang profesor ilmu komputer di Stanford, memimpin inisiatif ini. Untuk mendorong para peneliti untuk membuat algoritma visi komputer yang lebih baik menggunakan ImageNet, tim juga meluncurkan Tantangan Pengenalan Visual Skala Besar ImageNet. Kompetisi ini terutama difokuskan pada pengenalan objek menggunakan 1000 kategori gambar, hanya tiga yang menampilkan orang.

Beberapa masalah keandalan di ImageNet berasal dari pipa yang digunakan untuk membuat database. Kategori gambarnya diambil dari WordNet, basis data lama kata-kata bahasa Inggris yang digunakan untuk penelitian pemrosesan bahasa alami. Pencipta ImageNet meminjam kata benda dari WordNet - beberapa di antaranya, meskipun mereka merupakan istilah verbal yang terdefinisi dengan baik, diterjemahkan dengan buruk ke dalam kamus visual. Misalnya, istilah yang menggambarkan agama atau asal geografis seseorang hanya dapat mengekstraksi hasil pencarian gambar yang paling menonjol, yang dapat menghasilkan algoritma yang memperkuat stereotip.

Sebuah proyek seni terbaru bernama ImageNet Roulette telah menarik perhatian pada masalah ini. Proyek yang dirilis pada September 2019 sebagai bagian dari pameran seni yang didedikasikan untuk sistem pengenalan gambar, menggunakan gambar orang-orang dari ImageNet untuk melatih model kecerdasan buatan yang mengategorikan orang-orang dengan kata-kata berdasarkan gambar yang disajikan. Pengguna dapat mengunggah gambar mereka dan mendapatkan tag berdasarkan model ini. Banyak klasifikasi yang menyinggung atau tidak berdasar.

Inovasi utama yang memungkinkan pencipta ImageNet untuk mengumpulkan basis data yang besar dengan tag gambar adalah penggunaan crowdsourcing, khususnya platform Amazon Mechanical Turk (MTurk), di mana karyawan dibayar untuk memverifikasi gambar kandidat. Pendekatan ini, meskipun revolusioner, bagaimanapun tidak sempurna, yang menyebabkan beberapa kategori bias dan tidak pantas.

"Ketika Anda meminta orang untuk memeriksa gambar dengan memilih dari berbagai kandidat, orang merasakan tekanan untuk memilih sesuatu, dan gambar ini cenderung memiliki fitur yang khas atau stereotip," kata penulis utama Kayu Young, seorang lulusan ilmu komputer .

Dalam perjalanan studi, Jan dan rekan-rekannya pertama-tama menyaring kategori orang yang berpotensi kasar atau sensitif dari ImageNet. Mereka menganggap ofensif kategori yang mengandung kata-kata kotor atau penghinaan ras atau jender; kategori sensitif termasuk, misalnya, klasifikasi orang berdasarkan orientasi seksual atau agama. Untuk membubuhi keterangan kategori, mereka merekrut 12 mahasiswa pascasarjana dari berbagai lapisan masyarakat, menginstruksikan mereka untuk menandai kategori sebagai sensitif jika mereka tidak yakin. Jadi mereka mengeluarkan 1593 kategori - sekitar 54% dari 2932 kategori orang di ImageNet.

Kemudian, para peneliti meminta bantuan karyawan MTurk, sehingga mereka menilai "citra" dari kategori yang dapat diterima yang tersisa pada skala 1 sampai 5. Memilih kategori dengan peringkat citra 4 atau lebih tinggi menyebabkan fakta bahwa hanya 158 kategori yang diklasifikasikan sebagai dapat diterima dan cukup kiasan. Bahkan serangkaian kategori yang disaring dengan hati-hati ini mengandung lebih dari 133.000 gambar - sejumlah besar contoh untuk mengajar algoritma visi komputer.

Dalam 158 kategori ini, peneliti mempelajari representasi demografis orang dalam gambar untuk menilai tingkat bias di ImageNet dan mengembangkan pendekatan untuk membuat set data yang lebih tepat. Konten ImageNet terutama berasal dari mesin pencari bertarget gambar seperti Flickr. Mesin pencari, secara keseluruhan, cenderung memberikan hasil yang mewakili pria, orang-orang berkulit putih, dan orang dewasa berusia 18 hingga 40 tahun.

"Orang-orang telah menemukan bahwa hasil pencarian gambar sangat bias dalam hal distribusi demografis, sehingga ImageNet juga memiliki distribusi bias," kata Young. "Dalam artikel ini, kami mencoba menilai tingkat bias, dan juga mengusulkan metode yang akan menyeimbangkan distribusi."

Para peneliti telah mengidentifikasi dan meninjau tiga atribut yang dilindungi oleh undang-undang anti-diskriminasi A.S.: warna kulit, jenis kelamin, dan usia. Pekerja MTurk diminta untuk membubuhi keterangan setiap atribut dari setiap orang dalam gambar. Mereka mengklasifikasikan warna kulit sebagai terang, sedang atau gelap; dan berdasarkan usia ketika anak-anak (di bawah 18), orang dewasa berusia 18-40 tahun, orang dewasa berusia 40-65 tahun atau orang dewasa di atas 65 tahun.
Klasifikasi gender termasuk laki-laki, perempuan, dan gender yang tidak terbatas - cara untuk memasukkan orang-orang dengan ekspresi gender yang berbeda, serta gambar-gambar beranotasi di mana gender tidak dapat dirasakan oleh tanda-tanda visual (seperti gambar banyak anak-anak atau penyelam scuba).

Analisis anotasi menunjukkan bahwa, seperti dalam hasil pencarian, konten ImageNet mencerminkan bias yang signifikan. Orang-orang yang ditandai sebagai kulit hitam, wanita, dan orang dewasa di atas 40 tahun tidak terwakili di sebagian besar kategori.

Meskipun proses anotasi mencakup kontrol kualitas dan mengharuskan anotator mencapai konsensus, karena kekhawatiran tentang potensi bahaya anotasi yang salah, peneliti memilih untuk tidak mengeluarkan anotasi demografis untuk gambar individual. Sebaliknya, mereka mengembangkan alat berbasis web yang memungkinkan pengguna untuk mengambil satu set gambar yang secara demografis seimbang dengan cara yang ditentukan oleh pengguna. Sebagai contoh, koleksi lengkap gambar dalam kategori programmer dapat mencakup sekitar 90% pria dan 10% wanita, sedangkan di Amerika Serikat sekitar 20% programmer adalah wanita. Peneliti dapat menggunakan alat baru untuk mendapatkan serangkaian gambar programmer yang mewakili 80% pria dan 20% wanita - atau bahkan secara individual, tergantung pada tujuan peneliti.

"Kami tidak ingin berbicara tentang cara menyeimbangkan demografi, karena ini bukan masalah yang sangat sederhana," kata Young. “Distribusi mungkin berbeda di berbagai belahan dunia - misalnya, distribusi warna kulit di AS berbeda dari distribusi di negara-negara Asia. Oleh karena itu, kami menyerahkan pertanyaan ini kepada pengguna kami dan hanya menyediakan alat untuk mengekstraksi subset gambar yang seimbang. "

Tim ImageNet saat ini sedang mengerjakan pembaruan teknis peralatan dan databasenya sendiri, di samping menerapkan pemfilteran wajah dan alat penyeimbangan ulang yang dikembangkan dalam penelitian ini. ImageNet akan segera diterbitkan kembali dengan pembaruan ini dan permintaan umpan balik dari komunitas peneliti visi komputer.


Princeton Ph.D Clint Kinami dan profesor di bidang ilmu komputer, Jia Dang, turut menulis bersama Young, Lee, dan Russakovskaya. Penelitian ini didukung oleh National Science Foundation.


Sumber:

Bahan yang disediakan oleh Departemen Teknik, Universitas Princeton . Asli ditulis oleh Molly Charlach. P Catatan: Konten dapat dimodifikasi berdasarkan gaya dan panjangnya.


Tautan:

Kaiyu Yang, Klint Qinami, Li Fei-Fei, Jia Deng, Olga Russakovsky. Menuju kumpulan data yang lebih adil: memfilter dan menyeimbangkan distribusi subtree orang dalam hierarki ImageNet. Prosiding Konferensi 2020 tentang Keadilan, Akuntabilitas, dan Transparansi, 2020 DOI: 10.1145 / 3351095.3375709


Pelajari lebih lanjut tentang kursus

More articles:


All Articles