Get best of the week

Alasan Tinggi dalam Pembelajaran Mendalam

Hai teman. materi hari ini didedikasikan untuk peluncuran kelompok berikutnya dalam kursus dasar dan lanjutan "Matematika untuk Ilmu Data".



Hari ini kita akan menyentuh beberapa pemikiran tentang metode pembelajaran yang mendalam. Kami mulai dengan peninjauan metode templat untuk menerapkan pembelajaran yang mendalam di lingkungan ilmiah, dan kemudian kita akan berbicara tentang proses desain ujung ke ujung, serta secara singkat tentang fitur metode pembelajaran mesin alternatif yang mungkin ternyata lebih menjanjikan untuk menyelesaikan masalah tertentu.

Templat Pembelajaran Sains Dalam


Bagaimana metode pembelajaran yang mendalam biasanya digunakan dalam komunitas ilmiah? Pada level tinggi, Anda dapat merumuskan beberapa metode templat yang dengannya pembelajaran mendalam dapat digunakan dalam tugas-tugas berikut:

  1. Prediksi. , – (). . , , , , . , « / ». – , , . , ( ) (, ), .
  2. . , , . . , . , , , . , . , .
  3. . , (, , , ), . , , , , .

Workflow


Dengan menggunakan templat aplikasi pembelajaran dalam yang disebutkan di atas, kita akan melihat alur kerja merancang sistem pembelajaran yang dalam dari awal hingga selesai. Pada Gambar 1, Anda bisa melihat seperti apa alur kerja pembelajaran dalam yang khas.


Gambar 1: Diagram dari alur kerja pembelajaran dalam yang khas.

Proses pengembangan aplikasi pembelajaran dalam yang khas dapat dilihat terdiri dari tiga langkah utama: (i) langkah pemrosesan data, (ii) komponen pelatihan, (iii) validasi dan analisis. Masing-masing tahapan ini mencakup beberapa tahapan dan metode yang terkait dengannya, yang juga ditunjukkan dalam gambar. Dalam ulasan ini, kami akan membahas sebagian besar metode tahap pelatihan, dan beberapa teknik validasi dan analisis data. Harap dicatat bahwa sementara urutan alami mencakup pemrosesan data terlebih dahulu, kemudian pelatihan, dan akhirnya validasi, proses pengembangan standar cenderung mengarah ke beberapa iterasi tahapan, yaitu, metode atau pilihan yang dibuat pada tahap tertentu akan ditinjau berdasarkan hasil tahap selanjutnya.

Setelah memilih masalah peramalan yang menarik minat Anda, Anda dapat berpikir tentang tiga tahap merancang dan menggunakan sistem pembelajaran yang mendalam: (i) tahap pemrosesan data, misalnya, mengumpulkan, melabeli, preprocessing, visualisasi, dll. (Ii) tahap pelatihan, misalnya, memilih model jaringan saraf, definisi tugas dan metode untuk melatih model, (iii) tahap validasi dan analisis, di mana berdasarkan data yang diperoleh penilaian efektivitas dilakukan, serta analisis dan interpretasi representasi tersembunyi dan studi ablatif metode umum.

Secara alami, ketiga tahap ini saling mengikuti. Namun, seringkali upaya pertama untuk menciptakan sistem pembelajaran yang mendalam tidak berhasil. Untuk menyelesaikan masalah, penting untuk mengingat sifat berulang dari proses desain, di mana hasil dari berbagai tahap berfungsi sebagai dasar untuk peninjauan arsitektur dan pelaksanaan kembali tahapan lainnya.

Pada Gambar 1 menunjukkan contoh iterasi umum dengan panah penghubung bilateral: (i) panah Iterate (1) , yang sesuai dengan iterasi dalam proses pengumpulan data, karena itu terjadi bahwa setelah proses visualisasi data leyblinga data mentah mungkin perlu disesuaikan, karena hasilnya terlalu berisik atau tidak menangkap target yang diinginkan; (ii) panah Iterate (2), yang sesuai dengan iterasi dalam proses pembelajaran, misalnya, jika tujuan atau metode lain lebih cocok, atau jika proses pembelajaran perlu dibagi menjadi beberapa tahap, melakukan pengawasan diri pertama , dan kemudian pelatihan dengan guru; (iii) panah Iterate (3) , yang bertanggung jawab untuk mengubah langkah-langkah pemrosesan data berdasarkan hasil dari fase pelatihan; (iv) panah Iterate (4)bertanggung jawab untuk mengubah arsitektur proses pembelajaran berdasarkan hasil yang diperoleh pada tahap validasi untuk mengurangi waktu pelatihan atau menggunakan model yang lebih sederhana; (v) panah Iterate (5) adalah adaptasi dari langkah-langkah pemrosesan data berdasarkan hasil validasi / analisis, misalnya, ketika model bergantung pada atribut data palsu, dan data harus dikumpulkan kembali untuk menghindari hal ini.

Fokus Penelitian dan Nomenklatur


Pada bagian ini, kita akan berbicara tentang banyak metode yang digunakan pada tahap pelatihan, bersama dengan beberapa metode yang khas untuk tahap pemrosesan data dan validasi (misalnya, augmentasi, interpretabilitas, dan analisis representasi).

Pada tahap pelatihan, kami mempertimbangkan model, tugas, dan metode yang populer. Dengan model (yang juga kadang-kadang disebut arsitektur) kami memahami struktur jaringan saraf pembelajaran dalam - jumlah lapisan, jenisnya, jumlah neuron, dll. Misalnya, dalam tugas mengklasifikasikan gambar, gambar adalah input, dan distribusi probabilitas atas set (diskrit) kategori yang berbeda (atau kelas) masuk Yang dimaksud dengan metode adalah jenis pelatihan yang digunakan untuk melatih sistem. Misalnya, belajar dengan seorang guru adalah proses pembelajaran yang populer ketika jaringan saraf menerima data yang ditandai, di mana label menunjukkan pengamatan.

Tidak seperti berbagai model dan tugas, metode dapat menjadi himpunan bagian dari metode lain. Misalnya, pengawasan diri- ini adalah metode di mana jaringan saraf dilatih pada instance data dan label, di mana label secara otomatis dibuat pada instance data, juga metode ini dapat dikaitkan dengan metode pengajaran dengan guru. Kedengarannya agak membingungkan! Namun, pada tahap ini, cukup memiliki setidaknya pemahaman umum tentang model, masalah, dan metode.

Gunakan pembelajaran yang mendalam atau tidak?


Sebelum menyelam ke berbagai metode pembelajaran mendalam, penting untuk merumuskan masalah dan memahami apakah pembelajaran mendalam akan menyediakan alat yang tepat untuk menyelesaikannya. Model dasar yang kuat dari jaringan saraf menawarkan banyak fungsi kompleks, seperti transformasi gambar yang kompleks. Namun, dalam banyak kasus, pembelajaran yang mendalam mungkin bukan langkah pertama yang terbaik atau mungkin tidak cocok untuk memecahkan masalah. Di bawah ini kami meninjau secara singkat metode pembelajaran mesin yang paling umum, terutama dalam konteks ilmiah.

Pengurangan Dimensi dan Clustering. Dalam komunitas ilmiah, tujuan akhir dari analisis data adalah untuk memahami mekanisme dasar yang menghasilkan pola dalam data. Ketika tujuannya demikian, pengurangan dimensi dan pengelompokan adalah metode sederhana namun sangat efektif untuk mengungkapkan properti data yang tersembunyi. Mereka sering ternyata berguna dalam langkah meneliti dan memvisualisasikan data (bahkan jika metode yang lebih kompleks kemudian digunakan).

Pengurangan dimensi.Metode reduksi dimensi adalah linier, yaitu, mereka didasarkan pada transformasi linear untuk mengurangi dimensi data, atau nonlinier, yaitu, mengurangi dimensi dengan perkiraan pelestarian struktur data nonlinier. Metode linear populer untuk mengurangi dimensi adalah Metode Komponen Utama dan dekomposisi matriks non-negatif, sedangkan metode non-linear adalah penyisipan stokastik tetangga dengan t-distribusi dan UMAP. Banyak metode reduksi dimensi telah memiliki implementasi kualitas dalam paket seperti scikit-learn atau di github (mis. Github.com/oreillymedia/t-SNE-tutorial atau github.com/lmcinnes/umap ).

Clustering. Teknik pengelompokan yang sering digunakan bersama dengan reduksi dimensi menyediakan cara yang ampuh untuk mengidentifikasi persamaan dan perbedaan dalam kumpulan data. Metode yang umum digunakan, seperti metode k-means (sering merupakan metode k-means yang dimodifikasi), model campuran distribusi Gaussian, pengelompokan hierarkis dan pengelompokan spektral. Seperti metode reduksi dimensi, metode pengelompokan memiliki implementasi yang baik dalam paket seperti scikit-learn .

Regresi linier, regresi logistik (dan variasi). Mungkin metode yang paling mendasar untuk menyelesaikan masalah pengajaran dengan guru, seperti klasifikasi dan regresi, regresi linier dan logistik dan variasinya (misalnya, Lasso dan regresi ridge) dapat sangat berguna dalam hal data terbatas dan serangkaian fitur (mungkin pra-proses) yang jelas. (misalnya, dalam bentuk data tabular). Metode ini juga memungkinkan untuk mengevaluasi kecukupan perumusan masalah dan dapat menjadi titik awal yang baik untuk memeriksa versi sederhana dari masalah yang sedang dipecahkan. Karena kesederhanaannya, regresi linier dan logistik sangat dapat ditafsirkan dan menyediakan cara sederhana untuk melakukan atribusi atribut.

Pohon Pengambilan Keputusan, Hutan Acak dan Peningkatan Gradien. Kelas metode populer lainnya adalah Decision Trees, Random Forest dan Gradient Boosting. Metode-metode ini juga dapat bekerja bersama dengan masalah regresi / klasifikasi dan cocok untuk memodelkan hubungan non-linear antara input dan output. Hutan acak, yang merupakan bagian dari ansambel pohon keputusan, seringkali dapat lebih disukai daripada metode pembelajaran yang mendalam dalam kondisi di mana data memiliki rasio signal-to-noise yang rendah. Metode-metode ini mungkin kurang dapat ditafsirkan dari regresi linier / logistik, namun, dalam karya terbaru, kami melihat pustaka perangkat lunak yang sedang dikembangkan yang memecahkan masalah ini.

Metode dan sumber daya lainnya. Semua metode di atas, serta banyak metode populer lainnya, seperti model grafis, proses Gaussian, optimasi Bayesian, dibahas secara rinci dalam kursus Pembelajaran Mesin University of Toronto atau di Stanford CS229, dalam artikel terperinci tentang menujudatascience.com dan tutorial interaktif seperti d2l.ai /index.html (disebut Menyelam ke Dalam Pembelajaran) dan di github.com/rasbt/python-machine-learning-book2nd-edition .


Tugas apa yang dipecahkan oleh ilmuwan data? Bagian matematika apa dan untuk tugas apa yang perlu Anda ketahui? Apa persyaratan untuk ilmuwan data? Pengetahuan apa dalam matematika yang dibutuhkan untuk menonjol dari kerumunan dan mengamankan kemajuan karir ? Jawaban untuk semua pertanyaan ini dan tidak hanya dapat diperoleh di webinar gratis kami , yang akan diadakan pada 6 Mei. Cepat mendaftar !

More articles:


All Articles