bab sebelumnya

34. Cara menentukan tingkat kualitas yang tersedia bagi manusia

Misalkan Anda sedang mengerjakan aplikasi pencitraan medis yang harus melakukan diagnosa x-ray otomatis. Kesalahan orang biasa tanpa pendidikan kedokteran, dengan pengecualian beberapa pelatihan dasar, adalah sekitar 15%. Kesalahan seorang dokter pemula adalah sekitar 10%. Seorang dokter berpengalaman keliru dalam 5% kasus. Kesalahan tim dokter kecil yang mempelajari dan mendiskusikan setiap gambar tidak melebihi 2%. Manakah dari angka-angka ini yang harus diambil sebagai "tingkat kualitas manusia"?

Dalam hal ini, saya akan mengambil 2% untuk tingkat kualitas yang tersedia untuk orang tersebut dan menetapkan nilai kesalahan optimal yang sesuai. Masuk akal juga untuk menetapkan 2% sebagai tingkat kesalahan yang diinginkan untuk sistem kami, karena nilai kesalahan ini memenuhi ketiga kriteria yang dijelaskan dalam bab sebelumnya untuk sistem yang memungkinkan Anda membandingkan kualitas algoritma dengan kualitas tugas yang dilakukan oleh seseorang:

• Kemudahan menandai data : Anda dapat menggunakan tim dokter untuk menandai data dengan akurasi 98% (kesalahan 2%)
• Analisis kesalahan menggunakan intuisi manusia : Saat mendiskusikan sinar-X dengan tim dokter, Anda dapat mengandalkan intuisi mereka ketika mencari cara untuk meningkatkan kualitas
• Menggunakan tingkat penyelesaian tugas seseorang untuk menetapkan tingkat kesalahan optimal serta untuk menentukan "tingkat kesalahan yang diinginkan" yang dapat dicapai dari sistem : Dianjurkan untuk menggunakan 2% sebagai perkiraan tingkat kesalahan optimal. Level kesalahan optimal bahkan bisa kurang dari 2%, tetapi tentu saja tidak bisa lebih tinggi karena fakta bahwa tingkat kesalahan seperti itu sesuai dengan kualitas diagnostik yang tersedia untuk spesialis dan tidak masuk akal untuk menetapkan kesalahan 5% atau 10% untuk sistem otomatis sebagai level target, karena kami tahu pasti bahwa kami akan mencapai tingkat kualitas yang sengaja lebih tinggi.

, , . , .

40%, , ( 10%) ( 5%) . 10%, , 2% , .

35. ,

. , 10% . , 8% . - , 33 ?

, , , . , , , .

, :

1. , ,
2. , ,
3. « » .

, , , , , . , , , .

Ada banyak aplikasi pembelajaran mesin yang penting di mana algoritma lebih unggul daripada manusia. Misalnya, mobil dapat lebih baik memprediksi peringkat film, waktu perjalanan dengan mobil, pembayaran pinjaman. Dalam kasus di mana sulit bagi orang untuk menemukan contoh-contoh di mana algoritmenya keliru, hanya sejumlah metode yang dapat diterapkan untuk meningkatkan kualitas. Oleh karena itu, ketika bekerja pada sistem yang telah melampaui manusia, kemajuan biasanya berkembang lebih lambat daripada dalam kasus di mana algoritma belum mencapai tingkat manusia.

kelanjutan