👌🏽 😪 🌩️ Apakah jaringan saraf memimpikan uang listrik? 🥓 👨🏾‍🤝‍👨🏽 🥖

TL; DR: Tidak

Dalam luasnya Web, itu penuh dengan bahan, manual, solusi siap pakai, majelis dan hal-hal lain yang didedikasikan untuk meramalkan harga cryptocurrency dan aset pertukaran tradisional, berbau pendapatan cepat dan mudah dengan upaya minimum. Dan meskipun orang yang berbeda menuliskannya, dengan pendekatan yang berbeda, pada platform yang berbeda dan dengan paradigma yang berbeda, mereka semua memiliki satu atribut umum yang tidak berubah - mereka tidak bekerja .

Mengapa? Mari kita perbaiki.

pengantar

Mari berkenalan, nama saya Denis dan, di waktu luang saya, saya melakukan penelitian di bidang kecerdasan buatan dan, khususnya, jaringan saraf tiruan.

Dalam artikel ini saya akan mencoba untuk menggambarkan masalah yang ~~dihadapi~~ yang membuat Anda sendiri peneliti pemula dari jaringan saraf tiruan dalam mengejar kemandirian finansial, menghabiskan waktu berharga dengan efisiensi hampir nol.

Saya berharap, dalam kerangka artikel ini, dimungkinkan untuk menjaga keseimbangan yang cukup antara kerumitan materi dan kemudahan persepsi, sehingga teks tersebut cukup sederhana, dapat dimengerti dan menarik baik bagi orang-orang yang tidak terkait dengan bidang ini, dan bagi mereka yang telah terlibat dalam meneliti masalah dalam industri ini. Saya harus mengatakan segera bahwa tidak akan ada formula di sini, terminologi tertentu juga diminimalkan.

Saya tidak bekerja untuk Google. Saya tidak punya dua puluh derajat. Saya tidak magang di NASA. Saya tidak belajar di Stanford, dan saya sangat menyesalinya. Namun, saya masih berharap bahwa saya mengerti apa yang saya bicarakan ketika datang ke sistem peramalan dan, pada saat yang sama, saya cukup dekat dengan dunia cryptocurrency secara umum dan proyek Cardano pada khususnya.

Tentu saja, saya, sebagai penggemar kripto yang terlibat dalam jaringan saraf, tidak bisa tidak masuk ke dalam bidang aplikasi AI berkabut terkait cryptocurrency.

Inti dari masalah

Seperti yang disebutkan sebelumnya, ada begitu banyak bahan yang tampaknya telah dikerjakan dan tampak dalam, dengan contoh-contoh, tentang hal ini, sedemikian rupa sehingga mata Anda terbelalak. Dan penulis sangat yakin bahwa percobaan mereka, tidak seperti beberapa ratus sebelumnya, berhasil, sehingga orang bertanya-tanya mengapa artikel berikutnya tidak berakhir dengan foto dengan "domba" di pulau pribadi, dan daftar penulis "kernel kaggle" terkait dengan perkiraan harga ke bitcoin, tidak menggandakan daftar Forbes.

Diharapkan ada artikel tentang Habré yang didedikasikan untuk masalah ini. Dan, yang menarik, terlepas dari tempat dan bahasa publikasi, semua artikel ini diakhiri dengan teks yang kira-kira sama: "Yah, hasilnya cukup bagus, semuanya hampir berfungsi , Anda hanya perlu mengencangkan beberapa hiperparameter dan semuanya akan baik-baik saja."

Dan, tentu saja, grafik di mana jaringan saraf secara ideal menunjukkan harga, seperti:

Dan, agar tidak berdasar, berikut adalah contoh dari artikel tersebut: satu , dua , tiga .

Bagaimana semuanya dimulai

Gagasan untuk memprediksi harga baru di waktu lama jauh dari baru. Bahkan, ini tidak hanya berlaku untuk cryptocurrency. Kebetulan mereka lebih dekat dengan saya secara pribadi, tetapi tanah air dari apa yang disebut "analisis teknis", bagaimanapun, adalah pertukaran tradisional. Mereka adalah orang-orang di mana, menurut film-film, mereka semua mengenakan kostum mahal, tetapi pada saat yang sama mereka berteriak seperti perempuan di konser band favorit mereka.

Mencoba melihat masa depan menurut masa lalu, orang-orang menemukan sejumlah besar semua jenis osilator rumit, indikator, perangkat pensinyalan berdasarkan statistik matematika, teori probabilitas dan, kadang-kadang, pareidolia terbuka .

Mungkin yang paling populer adalah pencarian angka. Lima belas menit membaca Internet, dan bahkan sekarang di Wall Street! Ini sangat sederhana - Anda hanya perlu menemukan "kepala Bart Simpson", "kupu-kupu", "bendera (jangan bingung dengan irisan! 11)", "biru jatuh di menara vakum", pada grafik, untuk membangun banyak, banyak garis dan, cukup terbuka , tafsirkan untuk keuntungan Anda!

Hampir semua solusi ini memiliki satu kelemahan kecil, tetapi sangat padat dan parah - mereka dengan sempurna menangkap tren ... setelah fakta . Dan jika sesuatu dinyatakan tidak memperbaiki, tetapi prediktif, maka itu ditafsirkan begitu bebas sehingga sepuluh orang, melihat grafik yang sama dengan indikator yang sama, akan memberikan sepuluh perkiraan independen. Dan, yang merupakan karakteristik, setidaknya satu dari mereka kemungkinan besar akan benar!

Tapi itu juga akan ditetapkan setelah fakta. Dan sisanya hanya akan berkata "ah, well, kami dengan tidak cermat membaca sinyal yang salah."

Jangan salah paham terhadap saya. Sangat mungkin bahwa seorang pedagang Wall Street sungguhan, yang memiliki 20 jeritan dan 200 upaya bunuh diri selama bertahun-tahun, kemungkinan akan saling menumpukkan tumpukan indikator dan osilator satu sama lain dan, seperti operator dari film "The Matrix", baca berguna di sana data dibumbui dengan matras yang cukup tinggi, menunggu transaksi yang berhasil. Saya bahkan mengakui bahwa secara khusus Anda, pembaca, juga tahu caranya. Tanpa sedikit sarkasme, saya akui. Pada akhirnya, untuk beberapa alasan, mereka diciptakan, diperbaiki, indikator-indikator ini ...

Masalah modern membutuhkan solusi modern!

Pada tahun 2015, semua orang sudah mendengar jaringan saraf. Rosenblatt bahkan tidak membayangkan seberapa banyak mereka akan didengar. Berkat orang-orang yang bertanggung jawab, profesional, memahami media, umat manusia telah belajar bahwa jaringan saraf adalah versi paling elektronik dari otak manusia yang dapat menyelesaikan tugas apa pun dengan lebih cepat dan lebih baik, dengan potensi tanpa batas dan secara umum, di sini kita akan melompat langsung ke cahaya melalui singularitas. masa depan suram. Ini dia betapa beruntungnya.

Tapi ada satu "tetapi." Untuk saat ini, jaringan saraf hanya hidup dalam paket matematika yang disediakan, dalam bentuk tingkat yang sangat sangat rendah, mendukung ahli matematika dan ilmuwan dengan grafik di MatLabs.

Tetapi mempopulerkan melakukan tugasnya dan menarik banyak perhatian pengembang dari berbagai tingkat kemandirian pada industri. Pengembang yang sama ini, karena, tidak seperti ahli matematika biasa, orang yang diberkahi kemalasan yang mulia, mulai mencari cara untuk melempar beberapa tingkat abstraksi pada masalah ini, membuat hidup lebih mudah bagi diri mereka sendiri dan semua orang, menunjukkan kepada dunia alat tingkat tinggi yang sangat nyaman dan berkualitas tinggi seperti Keras atau FANN. Dalam semangat ini, mereka sangat berhasil sehingga mereka membawa pekerjaan dengan jaringan saraf ke tingkat "hanya sekali dan bekerja", membuka jalan bagi semua yang datang ke dunia keajaiban dan sihir.

Itu adalah keajaiban dan sihir, bukan matematika dan fakta.

Kelahiran legenda

Jaringan saraf telah tersedia, dekat dan mudah digunakan untuk semua orang. Serius, implementasi FANN bahkan untuk PHP. Selain itu, ini termasuk dalam daftar ekstensi dasar .

Bagaimana dengan Keras? Dalam 10 baris, Anda dapat mengumpulkan jaringan rekurensi-convolutional, tanpa memahami bagaimana konvolusi bekerja, atau bagaimana LSTM berbeda dari GRU! Kecerdasan buatan untuk semua orang dan semua orang! Dan jangan sampai ada yang tersinggung!

Saya pikir, sebagian, terminologi memainkan lelucon paling kejam. Apa yang disebut output jaringan saraf? Ya. Prediksi. Prediksi. Jaringan saraf memprediksi satu data dari yang lain. Kedengarannya seperti yang Anda butuhkan .

Manual untuk perpustakaan tingkat tinggi melindungi pengguna dari istilah kompleks, matriks, vektor, transformasi, kalkulus diferensial, makna matematika dari gradien ini, regresi, dan kerugian regularisasi.

Dan, yang paling penting, mereka melindungi citra romantis dari "model elektronik otak manusia yang mampu melakukan segalanya" dari kenyataan pahit, di mana jaringan saraf hanyalah sebuah penaksir, yang, secara kasar, tidak lebih dari sebuah langkah evolusioner naik satu tingkat dari pengklasifikasi linear biasa.

Tapi itu tidak masalah ketika Anda mengumpulkan solver pertama Anda untuk CIFAR-10 dari daftar dari dokumentasi, tanpa melakukan upaya apa pun, tanpa benar-benar memahami apa yang terjadi. Hanya ada satu pemikiran dalam pikiran:

Apa yang bisa saya katakan, apa yang bisa saya katakan, orang-orang begitu diatur ...

Ini dia, keajaiban teknologi! Anda cukup memberikan beberapa data pada input, lainnya pada output, tetapi itu sendiri menemukan koneksi dan belajar untuk memprediksi output dengan input. Berapa banyak masalah yang bisa diselesaikan! Berapa banyak tugas yang bisa diratakan!

Sangat banyak untuk diprediksi ! Menariknya, apakah orang lain pada umumnya tahu? Dengan toolkit ini, kemungkinan saya tidak terbatas! TAK TERBATAS!

Tetapi bagaimana jika Anda memberi makan jaringan saraf dengan lilin dari crypto-exchange / stock exchange / forex, memberikannya lilin dari periode waktu berikutnya untuk keluar? Dia kemudian akan belajar untuk memprediksi nilai-nilai baru dari yang sebelumnya! Lagipula, ini dibuat untuk apa! Jaringan saraf dapat memprediksi apa saja, akan ada data, dan data tentang sejarah kutipan adalah selusin! Oh, inspirasi, hanya sesaat, tetapi sangat indah!

Kenapa tidak?

Karena di dunia nyata yang berbeda dari dunia yang dibuat oleh media, itu tidak berfungsi seperti itu. Jaringan saraf bukan mesin untuk prediksi. Jaringan saraf adalah pendekatan. Penaksir yang sangat bagus. Diyakini bahwa jaringan saraf dapat mendekati hampir semua hal. Dengan hanya satu syarat - jika itu adalah "sesuatu" cocok untuk perkiraan .

Dan kemudian seorang peneliti pemula jatuh ke dalam kait distorsi kognitif. Kesalahan pertama dan utama adalah bahwa data kutipan historis tampaknya lebih dari sekadar statistik. Pada mereka, Anda dapat menggambar begitu banyak segitiga dan panah setelah fakta bahwa hanya orang buta ketika melihatnya tidak akan jelas bahwa ini semua memiliki logika tertentu yang tidak dapat dihitung dalam waktu. Tapi yang Mesin tahu.

Melihat statistik , seseorang melihat suatu fungsi . Perangkap itu terbanting.
Apa kesalahan kedua / bias kognitif? Tapi ini masalahnya.

Dan itu bekerja dengan cuaca!

Ini adalah argumen yang sangat sering saya dengar di komunitas crypto, dalam dialog tentang kemungkinan memprediksi sesuatu dari data historis menggunakan metode analisis statistik. Ini bekerja dengan cuaca. Inti dari distorsi adalah bahwa "jika A bekerja untuk B, tetapi tampaknya bagi saya bahwa B sama dengan C, maka A harus bekerja untuk C juga." Semacam pseudo-transitivity, yang bersandar pada pemahaman yang tidak memadai tentang proses yang mendasari perbedaan antara B dan C.

Dengan keberhasilan yang sama, kita dapat mengasumsikan, misalnya, bahwa pedal di kokpit pesawat adalah rem dan gas selama transmisi otomatis, dan bukan roda kemudi horizontal sama sekali. Persepsi intuitif tentang beberapa hal, sayangnya, tidak selalu benar, karena tidak selalu mengandalkan kumpulan data yang cukup lengkap tentang situasi / sistem / objek. Hai Bayes! Apa kabar?

Mari kita sedikit lebih dalam ke teori.

Kekacauan dan Hukum

Kebetulan bahwa semua proses dan peristiwa dalam realitas kita dapat diklasifikasikan menjadi dua kelompok: stokastik dan deterministik. Saat saya berusaha keras untuk menghindari terminologi suram, mari ganti dengan istilah yang lebih sederhana: tidak dapat diprediksi dan dapat diprediksi.

Seperti yang dikatakan Obi-Wan dengan benar, itu tidak sesederhana itu. Faktanya adalah bahwa, di dunia nyata, bukan yang teoretis, semuanya sedikit lebih rumit dan sepenuhnya dapat diprediksi dan proses yang sama sekali tidak dapat diprediksi sama sekali tidak ada. Sebagai maksimum, ada beberapa yang dapat diprediksi semu dan semu yang tidak dapat diprediksi. Yaitu, di sini hampir tidak dapat diprediksi dan hampir dapat diprediksi. Hampir hampir, tetapi tidak.

Sebagai contoh, salju turun secara tak terduga dari atas ke bawah. Dalam hampir 100% kasus diamati. Tetapi tidak di jendela dapur saya! Di sana salju turun dari bawah ke atas karena karakteristik aliran udara dan bentuk rumah. Tapi tidak selalu! Juga dalam hampir 100% kasus, tetapi tidak selalu. Terkadang di jendela dapur saya juga jatuh. Tampaknya hal yang begitu sederhana, tetapi bagi pengamat yang sama dalam dua kasus berbeda, berperilaku sangat berbeda, dan kedua perilaku itu normal dan dapat diprediksi semu dengan kemungkinan hampir 100%, meskipun keduanya saling bertentangan . Tidak buruk? Peristiwa semu yang dapat diprediksi ternyata ... semu tidak dapat diprediksi? Lebih jauh lagi.

Pada saat ini, teman kita Bayes mulai tertawa. Bagaimana dengan kejadian yang tidak terduga? Saya tidak akan menggunakan awalan "kuasi", oke? Semua orang sudah mengerti bahwa saya bersungguh-sungguh. Jadi disini. Ambil sesuatu yang benar-benar tidak dapat diprediksi. Gerak Brown? Sebuah contoh yang bagus dari sistem yang sepenuhnya tidak dapat diprediksi. Begitu? Mari kita bertanya kepada fisikawan kuantum:

Faktanya adalah bahwa, secara teoritis, bahkan sistem yang sedemikian kompleks seperti gerak Brown pada skala nyata, secara teori, dapat disimulasikan dan diprediksi keadaan sistem ini pada setiap titik waktu di masa depan atau masa lalu. Dalam teori. Tentang berapa banyak perhitungan, kapasitas, waktu dan pengorbanan untuk Dewa Kegelapan diperlukan untuk ini, kami dengan bijaksana tetap diam.

Dan juga sistem yang dapat diprediksi, dalam kasus umum, yang menjadi tidak dapat diprediksi jika Anda menurunkan skala ke tingkat kasus tertentu, sebenarnya cukup dapat diprediksi jika Anda memperluas cakupan pengamatan kasus tertentu untuk memasukkan faktor eksternal, memperoleh deskripsi sistem yang lebih lengkap dalam kasus yang sangat khusus ini.

Nah, kebenarannya adalah, mengetahui kekhasan aliran udara di suatu tempat tertentu, Anda dapat dengan mudah memprediksi arah penerbangan salju. Mengetahui secara spesifik "relief" dari suatu tempat tertentu, seseorang dapat memprediksi arah aliran udara. Mengetahui spesifik medan, orang dapat memprediksi spesifik medan. Dan seterusnya dan seterusnya. Pada saat yang sama, kami kembali mulai memperbesar, tetapi sekarang untuk acara tertentu. Memisahkannya dari definisi "umum" tentang perilaku peristiwa ini. Seseorang, hentikan Bayes, dia mendapat serangan!

Jadi apa yang kita dapat? Sistem apa pun secara bersamaan dapat diprediksi dan tidak dapat diprediksi sampai tingkat tertentu, perbedaannya hanya dalam skala pengamatan dan kelengkapan data awal yang menggambarkannya.

Apa hubungan ramalan cuaca dan perdagangan pertukaran dengan itu?

Seperti yang kami ketahui sebelumnya, garis antara sistem yang dapat diprediksi dan yang tidak dapat diprediksi sangat tipis. Tetapi cukup kuat untuk menarik garis yang membagi ramalan cuaca dan perdagangan.

Seperti yang telah kita ketahui, bahkan sistem yang paling tidak dapat diprediksi sebenarnya terdiri dari fragmen yang sepenuhnya dapat diprediksi. Untuk memodelkannya, cukup untuk turun ke skala fragmen-fragmen ini, memperluas cakupan pengamatan, memahami pola-pola dan memperkirakannya, misalnya, menggunakan jaringan saraf. Atau dapatkan formula yang cukup spesifik yang memungkinkan Anda menghitung parameter yang diinginkan.

Dan di sinilah letak perbedaan utama antara ramalan cuaca dan ramalan harga - skala komponen simulasi terbesar yang dapat diprediksi. Untuk peramalan cuaca, skala komponen ini sedemikian rupa sehingga mereka baik-baik saja ... mereka dapat dilihat dari orbit Bumi dengan mata telanjang. Dan apa yang tidak terlihat, misalnya, suhu dan kelembaban, bisa, berkat stasiun cuaca, diukur secara real time juga di seluruh planet ini. Untuk perdagangan, skala ini ... lebih lanjut tentang itu nanti.

Topan tidak akan mengatakan "Aku lelah, aku pergi," menghilang tiba-tiba pada titik waktu yang tidak terduga. Jumlah panas yang diterima dari Matahari oleh belahan bumi tertentu bervariasi dengan pola yang sama. Pergerakan massa udara pada skala planet tidak memerlukan simulasi atom dan cukup disimulasikan di tingkat makro. Sebuah sistem yang disebut "cuaca", yang merupakan peristiwa acak pada skala titik tertentu di Bumi, cukup dapat diprediksi pada skala yang lebih global. Dan tetap saja, keakuratan prediksi ini menyisakan banyak yang diinginkan pada jarak lebih dari beberapa hari. Sistem, meskipun dapat diprediksi, sangat kompleks sehingga dapat dimodelkan dengan akurasi yang masuk akal kapan saja.

Dan di sini kita sampai pada sifat penting lain dari model prediksi.

Kemandirian atau otonomi prediksi

Properti ini, secara umum, cukup sederhana - sistem peramalan mandiri, atau sistem peramalan ideal , dapat dilakukan tanpa data eksternal, tidak termasuk keadaan awal.

Dia sangat akurat. Untuk memprediksi sifat-sifat sistem dalam keadaan N, cukup baginya untuk mendapatkan data yang dihitung dalam keadaan N-1. Dan mengetahui status N, Anda bisa mendapatkan N +1, +2, + m.

Sistem semacam itu termasuk, misalnya, setiap perkembangan matematika. Mengetahui keadaan di titik referensi dan jumlah titik ini dalam serangkaian acara, orang dapat dengan mudah menghitung keadaan di titik lain. Keren!

Dan ini juga jawaban untuk pertanyaan mengapa keakuratan ramalan cuaca turun drastis dalam waktu yang lama. Melihat ke masa depan, kami membangun prakiraan berdasarkan bukan pada kondisi sebenarnya dari sistem, tetapi pada yang diprediksi. Apalagi tidak dengan akurasi 100%, sayangnya. Akibatnya, kami mendapatkan efek dari akumulasi kesalahan perkiraan . Tapi ini terlepas dari kenyataan bahwa kita tahu hampir semua "variabel" yang signifikan dan deskripsi sistem dapat disebut hampir "lengkap".

Bagaimana dengan penawaran?

Dan dengan kutipan, segalanya jauh lebih buruk. Faktanya adalah bahwa dalam prakiraan cuaca, hampir semua data yang diterima dan diprediksi merupakan penyebab dan efek dari peristiwa tersebut. Konsekuensi dari peristiwa dari langkah sebelumnya, penyebab peristiwa dari langkah selanjutnya. Selain itu, data dan peristiwa penting yang bukan merupakan sebab dan akibat keduanya kemungkinan besar hanya menyebabkan dan membawa muatan yang kuat. Misalnya, jumlah panas yang diterima dari matahari pada suatu titik waktu. Dan itu tidak berubah. Inilah yang meningkatkan indikator swasembada dari ramalan tersebut. Konsekuensinya mengalir ke alasan peristiwa di langkah berikutnya. Ini adalah proses yang sepenuhnya non-Markov yang dapat dijelaskan dengan persamaan diferensial.

Sementara statistik kutipan terutama hanya konsekuensi, atau 50 \ 50 . Pertumbuhan penawaran dapat memicu peningkatan lebih lanjut dalam penawaran dan menjadi penyebabnya. Dan itu mungkin tidak memprovokasi dan menyebabkan. Dan itu dapat memicu aksi ambil untung dan, sebagai akibatnya, penurunan harga. Data historis tentang pertukaran terlihat solid. Volume, harga, "kacamata", begitu banyak angka! Sebagian besar yang baik untuk apa-apa, hanya hasilnya, gema peristiwa dan sebab, terletak jauh di luar bidang statistik ini . Pada skala yang sama sekali berbeda. Dalam ruang lingkup yang sama sekali berbeda.

Saat memodelkan penawaran di masa mendatang, kami hanya mengandalkan konsekuensi dari peristiwa yang jauh lebih kompleks daripada hanya persentase penyimpangan dari volume pembelian.Harga tidak membentuk dirinya sendiri . Itu tidak bisa dibedakan dengan sendirinya. Jika pasar dinyatakan sebagai danau metaforis, grafik saham hanyalah riak di atas air. Mungkin angin ini bertiup, mungkin mereka melempar batu ke air, mungkin ikan memercik, mungkin Godzilla melompat 200 kilometer dengan trampolin. Kami hanya melihat riak. Namun dalam riak ini, kami mencoba memprediksi kekuatan angin dalam 4 hari, jumlah batu yang akan dilemparkan ke air dalam sebulan, suasana hati ikan lusa, atau mungkin arah yang akan ditempuh Godzilla ketika ia lelah melompat. Dia akan datang lebih dekat dan menggunakan trampolin lagi - riak akan menjadi lebih kuat! Tangkap tren, hop hop hop!

Ini adalah poin yang sangat penting:

, , , .

Dengan kata lain, Anda tidak dapat memodelkan sistem dengan cukup baik tanpa memiliki deskripsi yang cukup lengkap tentangnya.

Sayangnya, skala komponen simulasi maksimum yang mungkin dari sistem, dalam kasus pasar, turun ke manusia. Bahkan kepada seseorang, tetapi pada keadaan psikofisiknya, di mana reaksi terhadap perilaku pasar bergantung, dan yang, dengan reaksi ini, akan dengan sendirinya mempengaruhi pasar. Alasan yang mengalir ke konsekuensinya! Hanya ribuan, jika bukan jutaan orang individu yang unik, yang harus dimodelkan. Dengan masalah pribadi, perasaan, latar belakang hormonal, interaksi, aktivitas sehari-hari.

Dan ini bukan hanya tentang pedagang di pasar dalam skala global. Ini juga tentang orang-orang di balik proyek tertentu. Ini tentang masalah dan keberhasilan proyek di masa depan. Ini tentang peristiwa penting di masa depan yang sama. Peristiwa, kadang-kadang sangat tidak terduga. Ternyata untuk dapat memprediksi masa depan, kita perlu mengetahui masa depan.

Secara total, kita membutuhkan lingkup kondisi yang diamati, yang sepenuhnya tidak dapat diakses oleh kita. Skala simulasi, yang bagi kami benar-benar tidak mungkin tercapai.

Ya, itu dalam teori, tentu saja dapat dicapai. Gerakan Brown, secara teori, juga merupakan sistem yang sangat disimulasikan dan dapat diprediksi, ingat? Kemudian ingat harga implementasi praktis dari simulasi semacam itu. Harga ini jauh lebih tinggi daripada proses memberi makan jaringan saraf dengan pertukaran lilin. Setidaknya pada saat penulisan ini.

Tapi bagaimana dengan grafisnya?

Betulkah. Di awal artikel ini, kami menyajikan bagan dengan akurasi perkiraan yang sangat tinggi, berbatasan dengan tempat-tempat dengan 100%.

Mari kita lihat lagi:

Apa yang kamu lihat? Lihat lebih dekat. Kebetulan sekali, bukan? Sempurna, sempurna. Dan pada grafik pertama dan kedua, jaringan saraf secara alami mengungguli tanda kutip satu langkah di depan!

Ingat, saya menyebutkan perpustakaan tingkat tinggi untuk bekerja dengan jaringan saraf, dan kemudian ini tidak mendapatkan pengembangan dalam teks artikel? Sekarang mengerti. Ketersediaan apa pun yang tersebar luas, tentu mengurangi bilah untuk melatih pengguna rata-rata. Hal yang sama terjadi dengan jaringan saraf. "Kernel Kaggle" adalah rekor. Setiap bagian non-sempit hanya dikubur dalam banyak solusi, penulis yang, sebagian besar, tidak tahu apa yang mereka lakukan. Dan dari bawah, setiap keputusan didukung oleh pilar komentar pujian dari orang-orang yang kurang memahami masalah ini. “Kerja bagus, apa yang Anda butuhkan!”, “Saya sudah lama mencari kernel yang cocok untuk tugas saya, ini dia! Dan bagaimana cara menggunakannya? " dll.

Untuk menemukan di antara ini sesuatu yang sangat menarik dan indah sangat, sangat sulit.

<keangkuhan panik>
Sebagai hasilnya, kami memiliki fenomena seperti orang yang mudah beroperasi dengan peralatan matematika yang agak rumit, tetapi tidak dapat membaca grafik .
</ keangkuhan fanatik>

Lagi pula, waktu pada skala X bergerak ke kanan, dan prediksi, idealnya, harus diperoleh sebelum acara.

Cukup hiperparameter belum diputar

Kita semua senang ketika jaringan saraf kita menunjukkan tanda-tanda konvergensi. Namun ada nuansa. Dalam pemrograman seperti itu, ada aturan "dimulai bukan berarti diterima." Ketika kami baru mulai belajar pemrograman, kami sangat senang dengan kenyataan bahwa kompiler / penerjemah dapat memahami apa yang kami masukkan ke dalamnya dan tidak melempar kami kesalahan. Pada tingkat formasi ini, kami percaya bahwa kesalahan dalam suatu program hanya sintaksis.

Dalam desain jaringan saraf, semuanya sama. Hanya alih-alih kompilasi adalah konvergensi. Berhasil - itu tidak berarti belajar persis apa yang kita butuhkan. Jadi apa yang dia pelajari?

Seorang peneliti yang tidak berpengalaman, melihat grafik yang begitu indah, kemungkinan akan muncul. Tetapi kurang lebih berpengalaman, waspada, karena tidak ada begitu banyak pilihan:

Jaringan secara eksplisit dilatih ulang (dalam arti "redundant" daripada "reuse")
Jaringan mengeksploitasi kelemahan dalam metode pengajaran
Jaringan telah mendekati Exchange Grail dan mampu memprediksi keadaan pasar kapan saja, “menyebarkan” grafik tanpa akhir hanya dari satu candle

Bagaimana menurut Anda, opsi mana yang lebih dekat dengan kenyataan? Sayangnya, bukan yang ketiga . Ya, jaringannya benar-benar dipelajari. Dia benar-benar luar biasa memberikan hasil, tetapi mengapa?

Meskipun jaringan saraf tiruan bukanlah "model elektronik dari otak manusia," mereka masih menunjukkan beberapa sifat "pikiran". Pada dasarnya, ini adalah "kemalasan" dan "trik". Dan pada saat bersamaan. Dan ini bukanlah konsekuensi dari kemunculan ratusan neuron kesadaran diri. Ini adalah konsekuensi dari fakta bahwa istilah "optimasi" sebenarnya tersembunyi di balik istilah "pendidikan" populis.

Jaringan saraf bukan siswa yang sedang belajar, berusaha memahami apa yang kami jelaskan kepadanya, setidaknya pada saat penulisan ini. Jaringan saraf adalah seperangkat bobot yang nilainya harus disesuaikan atau dioptimalkan sedemikian rupa untuk meminimalkan kesalahan hasil dari jaringan saraf relatif terhadap hasil referensi.

Kami memberi jaringan saraf tugas, dan kemudian kami memintanya untuk "lulus ujian." Menurut hasil dari "ujian", kami memutuskan seberapa suksesnya, dengan keyakinan bahwa dalam proses persiapan untuk "ujian", jaringan kami telah memperoleh pengetahuan, keterampilan, dan pengalaman yang cukup.

Lihat tangkapannya? Tidak? Ya, ini dia, di permukaan! Meskipun tujuan Anda adalah untuk mengajarkan keterampilan jaringan yang bermanfaat, menurut pendapat Anda, tujuannya adalah untuk lulus ujian .

Bagaimanapun caranya. Dengan cara apa pun. Mungkin, bagaimanapun, dengan beberapa siswa dia memiliki lebih banyak kesamaan daripada yang dinyatakan dalam dua paragraf sebelumnya ...

Jadi bagaimana Anda lulus ujian terkenal?

Menghafal

Opsi pertama pada daftar kemungkinan alasan untuk akurasi luar biasa tersebut. Hampir setiap peneliti pemula dari jaringan saraf tiruan tentu tahu bahwa semakin banyak neuron di dalamnya, semakin baik. Dan, bahkan lebih baik, ketika ada banyak lapisan di dalamnya.

Tapi itu tidak memperhitungkan fakta bahwa jumlah neuron dan lapisan tidak hanya meningkatkan potensi jaringan di bidang "pemikiran abstrak", tetapi juga jumlah ingatannya. Ini terutama berlaku untuk jaringan berulang, karena kapasitas memorinya benar-benar mengerikan.

Alhasil, selama proses optimasi, ternyata yang paling optimalpilihan lulus ujian adalah ... menjejalkan secara teratur atau "overfitting", "overfitting". Jaringan hanya akan mempelajari semua "jawaban yang benar" dengan hati. Sama sekali tidak memahami prinsip-prinsip yang membentuknya. Akibatnya, ketika menguji jaringan pada sampel data yang belum pernah dilihat sebelumnya, jaringan mulai membawa omong kosong.

Untuk alasan ini, untuk melatih jaringan dalam / luas Anda memerlukan lebih banyak data, Anda perlu regularisasi, Anda perlu kontrol atas ambang kesalahan minimum, yang harus kecil, tetapi tidak terlalu banyak. Dan, yang lebih baik lagi, temukan keseimbangan yang tepat antara ukuran jaringan dan kualitas solusinya.

Baik. Kami akan mempertimbangkan. Kami akan membuang lapisan ekstra. Arsitekturnya disederhanakan. Kami akan menerapkan segala macam trik yang berbeda. Apakah ini akan berfungsi sekarang? Bukan fakta. Bagaimanapun, nomor dua dalam daftar pilihan ujian mudah:

Mengakali guru

Karena klasifikasi jaringan saraf tidak diperoleh untuk proses, tetapi untuk hasilnya, proses yang digunakan untuk mencapai hasil ini mungkin sedikit berbeda dari apa yang dimaksudkan pengembang. Ini adalah salah satu momen paling kejam bekerja dengan hewan-hewan cantik ini - ketika jaringan telah belajar, tetapi bukan itu.

Ketika Anda melihat grafik dengan prediksi mata kuliah yang mengulangi kursus nyata dengan sempurna, pikirkan apa yang Anda ajarkan pada jaringan saraf? Sangat akurat untuk memprediksi harga? Atau mungkin hanya mengulanginya seperti burung beo?

Pastikan bahwa jaringan, yang memiliki akurasi hampir 100% pada set pelatihan dan yang sama pada set tes, cukup mengulangi semua yang dilihatnya. Jaringan di mana grafik prediksi digeser satu langkah dalam waktu ke kanan (contoh grafik 1 dan 2) cukup ulangi nilai harga dari langkah sebelumnya, yang diteruskan kepada mereka dalam yang baru. Grafik, tentu saja, terlihat sangat menggembirakan, dan hampir cocok dengan sempurna, tetapi mereka tidak memiliki kekuatan prediksi. Anda dapat mengumumkan harga kemarin hari ini sendiri, karena ini Anda tidak perlu belajar di Hogwarts atau memoles Palantir, bukan?

Tapi ini jika Anda memberi mereka nilai dari langkah sebelumnya, membandingkannya dengan nilai langkah saat ini. Terkadang orang hanya memberi nilai dari langkah saat ini, membandingkannya dengan langkah berikutnya. Dalam hal ini, kita mendapatkan grafik yang indah yang cocok dengan yang asli hampir sempurna (contoh grafik 3 dan 4).

Terkadang Anda dapat melihat grafik yang tidak cocok dengan sempurna, lebih lembut, seolah dihaluskan, diinterpolasi . Ini biasanya merupakan tanda yang jelas dari jaringan rekursif yang mencoba menghubungkan hasil baru dengan yang sebelumnya (contoh grafik 3).

Semua hasil ini hanya memiliki satu kesamaan - jaringan saraf telah belajar untuk lulus ujian 5-plus. Tetapi dia tidak belajar untuk menyelesaikan tugas yang diberikan kepadanya dengan cara yang diperlukan dan tidak memberikan manfaat praktis bagi peneliti. Sama seperti siswa, tetapi dengan lembar contekan, kan?

Mengapa jaringan mengulangi nilai sebelumnya, dan tidak mencoba untuk menghasilkan yang baru? Ya, hanya selama pelatihan, ia sampai pada kesimpulan yang masuk akal bahwa, biasanya, titik terdekat ke titik berikutnya pada grafik adalah yang sebelumnya. Ya, besarnya kesalahan dalam kasus ini mengapung, tetapi itu, pada sampel besar, secara stabil lebih kecil daripada besarnya kesalahan ketika mencoba untuk memprediksi keadaan berikutnya dalam proses kuasi-acak .

Jaringan saraf dapat menggeneralisasi dengan sempurna. Generalisasi semacam ini adalah solusi yang sangat baik untuk masalah ini.

Sayangnya, tidak peduli bagaimana Anda memutar hyperparameters, masa depan tidak akan terbuka untuknya. Bagan tidak akan bergerak mundur satu langkah dalam waktu. Ya, Cawan begitu dekat, tetapi sejauh ini.

Berhenti. Tidak tidak Tidak. Tapi bagaimana dengan perdagangan algoritmik? Dia ada!

Persis. Tentu saja ada. Tetapi intinya adalah bahwa perdagangan algoritmik ini tidak sama dengan ramalan algoritmik . Perdagangan algoritmik didasarkan pada kenyataan bahwa sistem perdagangan menganalisis pasar pada saat ini, membuat keputusan untuk membuka dan menutup transaksi berdasarkan sejumlah besar parameter objektif dan tanda-tanda tidak langsung.

Ya, ini, secara teknis, juga merupakan upaya untuk memprediksi perilaku pasar, tetapi, tidak seperti prediksi untuk hari dan bulan sebelumnya, sistem perdagangan mencoba untuk bekerja pada interval waktu kecil yang paling diizinkan.

Ingat ramalan cuaca? Ingat bahwa akurasinya turun drastis dalam jarak jauh? Ini bekerja dua arah. Semakin pendek jarak, semakin tinggi akurasinya. Anda, melihat keluar jendela, bahkan tanpa menjadi ahli meteorologi, dapat memprediksi berapa suhu udara dalam sedetik, bukan?

Tetapi bagaimana cara kerjanya? Apakah ini tidak bertentangan dengan semua yang telah dikatakan? Tapi bagaimana dengan riak di air, bagaimana dengan kurangnya data? Bagaimana dengan Godzilla?

Tapi tidak, tidak ada kontradiksi. Selama bot perdagangan bekerja pada interval yang sangat kecil, sangat kecil, dari satu menit ke sepersekian detik, tergantung pada jenisnya, ia tidak perlu mengetahui masa depan dan tidak perlu memiliki gambaran lengkap tentang pasar. Cukup baginya untuk memahami bagaimana sistem di sekitarnya bekerja. Dalam keadaan apa lebih baik membuka kesepakatan di dalamnya, untuk menutupnya. Bot perdagangan beroperasi dalam skala kecil sehingga bidang pandangnya mampu mencakup faktor-faktor yang cukup untuk membuat keputusan yang berhasil atas jarak pendek yang dapat diterima. Dan untuk melakukan ini, dia sama sekali tidak perlu mengetahui keadaan global sistem.

Kesimpulan

Artikel itu ternyata besar. Lebih dari yang saya harapkan. Saya berharap ini akan berguna bagi seseorang dan akan membantu menghemat waktu bagi seseorang yang memutuskan untuk mencoba peruntungan mereka dalam mencari Holy Grail of Commerce.

Mari kita soroti poin utama:

Godzilla memiliki trampolin
Anda perlu memahami bagaimana alat yang Anda gunakan untuk menyelesaikan masalah
Penting untuk memahami batas-batas penerapan dan menilai secara memadai solvabilitas masalah
Penting untuk dapat menafsirkan dengan benar hasil dari toolkit ini
Jaringan saraf adalah penduga fungsi, bukan prediktor masa depan
$f(x)=x$ dan $f(x_n)=x_{n-1}$ - ini juga fungsi
Untuk mensimulasikan keadaan sistem, Anda harus memiliki deskripsi lengkap atau dekat dengan sistem ini
Statistik - hanya sebagian, deskripsi selektif dari konsekuensi sistem
Sistem peramalan yang baik harus cukup mandiri
Jaringan saraf tidak bisa dianggap kata, mereka berbahaya, licik dan malas
Ingin AI membantu Anda berdagang? Ajari dia untuk berdagang

Terima kasih kepada semua orang yang membaca sampai akhir!

PS Tidak, ini bukan artikel tentang "analisis fundamental teknis VS." Artikel ini adalah tentang "tidak ada mukjizat."

Apakah jaringan saraf memimpikan uang listrik?