Membuat asisten virtual yang dapat mengatasi dengan baik tugas bisnis saat ini, sayangnya, bukanlah proses yang sesederhana yang kita inginkan. Pertama-tama, jauh dari selalu jelas mengapa bot obrolan membuat kesalahan dan, yang lebih penting, tidak jelas bagaimana kesalahan ini dapat diminimalkan dalam waktu singkat yang diberikan untuk pengembangan dan peluncuran platform.Melalui pengembangan produk berkelanjutan, tim Asisten IBM Watson berusaha membuat proses menciptakan dan meluncurkan asisten virtual sesederhana mungkin. Hari ini kita berbicara tentang Notebook Analisis Keterampilan Dialog- Kerangka kerja untuk Python yang memungkinkan Anda untuk dengan cepat mengembangkan asisten AI berkualitas tinggi di IBM Watson. Tidak masalah jika Anda membuat chatbot pertama Anda atau Anda ahli dalam bidang membuat asisten virtual, dalam hal apa pun, kerangka kerja ini akan membantu Anda jika Anda memiliki pertanyaan:- Seberapa efektif bot obrolan saya?
- Bagaimana saya bisa mengukur efektivitas asisten?
- Mengapa bot tidak menjawab pertanyaan secara salah?
- Bagaimana cara meningkatkan tingkat pemahaman pertanyaan oleh asisten?
Bagaimana itu bekerja?
Selanjutnya, kami akan menunjukkan kepada Anda beberapa contoh tugas yang dapat diselesaikan menggunakan kerangka kerja. Anda dapat mencoba fitur-fiturnya sendiri dengan mengunduh dari repositori GitHub . Contoh yang digunakan dalam artikel tersebut diberikan dalam bahasa Inggris, tetapi Anda dapat menggunakan bahasa Rusia untuk pelatihan dan memeriksa chatbot.Catatan: materi ini ditujukan bagi mereka yang memiliki pemahaman dasar tentang pembuatan bot obrolan pada platform IBM Watson Assistant. Jika Anda tidak terbiasa dengan platform kami, atau ingin belajar cara membuat asisten virtual berkualitas tinggi berdasarkan IBM Watson, kami mengundang Anda ke seminar pelatihan gratis yang akan diadakan di Moskow dan St. Petersburg pada Maret 2020, termasuk lokakarya praktis dua hari tentang cara membuat asisten virtual.Bagian 1: Analisis Data Pelatihan
Kami akan menggunakan test case "Layanan Pelanggan", tersedia di Watson Assistant, di mana chatbot dilatih untuk mengenali pertanyaan tentang toko, misalnya: "Di mana toko Anda berada?" atau "Jam berapa ini terbuka?" dan menugaskan mereka ke intinya Customer_Care_Store_Location dan Customer_Care_Store_HoursSegera setelah memuat skrip, Anda dapat memulai analisis ekspresi, yang akan memungkinkan Anda untuk mendeteksi dan memperbaiki kesalahan kritis seperti korelasi satu kata atau frasa secara bersamaan dengan beberapa maksud, yang dijamin akan menyebabkan kesalahan dalam proses menggunakan asisten.
Bagian 2: Analisis Keterampilan Berbicara
Saat Anda pertama kali membuat keterampilan percakapan, Anda dapat menguji pekerjaannya menggunakan panel Try it out di Watson Assistant untuk mengevaluasi kemampuan asisten untuk memprediksi apakah suatu teks akan menjadi milik maksud tertentu.
Tentunya mudah untuk memeriksa apakah bot obrolan Anda berfungsi sama sekali atau untuk menunjukkan contoh kerjanya kepada pelanggan. Namun, untuk memeriksa kualitas pekerjaan asisten, pendekatan ini sama sekali tidak cocok karena ketidakmungkinan otomatisasi. Pengguna dapat mengajukan pertanyaan yang sama dalam banyak cara yang berbeda, dan bahkan jika Anda dapat memprediksi semua kombinasi yang mungkin, pemeriksaan manual dan analisis seperti itu akan memakan terlalu banyak waktu.Sebagai gantinya, kami sarankan Anda menggunakan bagian kedua dari kerangka kerja kami, yang akan membantu Anda menganalisis keterampilan dialog Anda menggunakan sampel uji yang mencakup contoh tambahan untuk setiap maksud yang harus Anda buat. Keunikan wajib untuk unsur-unsur sampel ini - mereka tidak boleh tumpang tindih dengan contoh-contoh tempat bot obrolan dilatih, jika tidak maka akan mengetahui jawaban yang benar dan cek tidak akan berarti.Evaluasi dilakukan sesuai dengan metrik berikut: Akurasi, Presisi, Ingat, dan ukuran F1.
Pertimbangkan topik Bantuan:- Nilai Recall yang tinggi [100%] menunjukkan bahwa afiliasi kalimat pengujian untuk maksud ini diakui secara benar.
- Nilai Presisi [66,67%] menunjukkan bahwa beberapa kalimat uji yang terkait dengan maksud lain diakui oleh model yang terkait dengan maksud Bantuan . Penting untuk memperhatikan hal ini dengan menyesuaikan sampel pelatihan untuk mencapai hasil yang lebih tinggi
- Ukuran F1 [80%] adalah metrik umum yang mempertimbangkan nilai-nilai Precision dan Recall melaporkan kualitas keseluruhan model yang diteliti.
Bagian 3. Analisis Lanjutan
Bagian ketiga dari kerangka kerja ini membuka peluang untuk analisis lanjutan dari solusi dialog Anda. Dengan menggunakan fungsi-fungsi yang diterapkan di dalamnya, Anda dapat mengetahui mengapa kalimat tertentu dikenali secara salah.Pertimbangkan contoh memvisualisasikan pentingnya kata dalam sebuah kalimat.Catatan, , : Customer_Care_Store_Location, Cancel, Customer_Care_Appointments General_Connect_to_Agent, Thanks, Customer_Care_Store_Hours, General_Greetings, Help
Dengan operasi yang benar-benar benar, asisten harus menghubungkan kalimat "Jika Anda tutup pada hari Minggu, dapatkah Anda memasukkan saya untuk besok sore?" ke maksud Customer_Care_Appointments , karena pengguna meminta rapat pada hari Minggu malam. Namun, saat ini, penawaran ini adalah milik asisten Customer_Care_Store_Hours .
Melihat diagram, menjadi jelas bahwa jawaban seperti itu dibenarkan oleh kehadiran dalam kalimat kata "ditutup" dan "sore" terkait dengan maksud Pelanggan_Care_Store_Hours , dan pada saat yang sama, kurangnya kata dalam kalimat yang dapat menunjukkan bahwa mereka termasuk dalam maksud yang diperlukan.Fungsionalitas kerangka kerja ini memungkinkan Anda untuk mengidentifikasi kata kunci dalam sebuah kalimat yang oleh asisten dianggap sebagai yang paling penting, yang berarti bahwa Anda dapat dengan mudah menentukan penyebab kesalahan dan memperbaikinya.Kesimpulan
Contoh-contoh yang ditunjukkan dalam artikel hanyalah sebagian kecil dari semua fitur kerangka kerja baru kami. Kami berharap ini akan membantu Anda mempercepat dan menyederhanakan proses menciptakan asisten yang cerdas.Bagaimana cara mengakses framework?
Anda dapat mengunduhnya dari repositori GitHub di sini .Bagi mereka yang tidak ingin atau tidak dapat mengunduh kerangka kerja atau menjalankan IPython Notebook, kami telah membuat versi kerangka kerja online, tersedia di Galeri IBM melalui tautan . Versi online semacam itu dapat diluncurkan di cloud IBM sebagai bagian dari layanan Watson Studio.