Get best of the week

Mengapa perusahaan harus beralih ke lingkungan terbuka sebelum era zettabyte?

Pertumbuhan data akan menanjak, dan menurut perkiraan oleh International Data Corporation (IDC) , pada tahun 2023 103 zettabyte informasi akan dihasilkan di seluruh dunia. Dengan penyebaran lebih lanjut dari perangkat 5G IoT dan pertumbuhan yang signifikan dalam perusahaan video akan mengadaptasi teknologi mereka untuk menyimpan data dan mengekstraksi informasi berharga dari mereka, dan sejauh ini kami hampir tidak pernah berhubungan dengan proses ini. Meskipun satu hal sudah dapat dikatakan dengan percaya diri: jelas bahwa, di ambang era zettabytes, perusahaan harus mempertimbangkan kembali pendekatan mereka terhadap arsitektur pusat data agar dapat mengikuti tren seperti itu di masa depan.



Pendekatan Baru untuk Arsitektur Penyimpanan di Era Zettabyte


Pertama-tama, apa itu zettabyte? Zettabytes adalah satu triliun gigabytes. Ini banyak data, tetapi - tidak seperti satu gigabyte atau bahkan satu terabyte - tidak semua orang tahu kata "zettabyte", dan alasannya mungkin karena kebutuhan untuk menyimpan volume informasi seperti itu untuk tujuan komersial jarang terjadi. Tapi ini tidak selalu terjadi.

Inovasi, produk, dan persyaratan selama perubahan arsitektur baru ini akan tergantung pada beberapa faktor utama.

Pertama: kebutuhan untuk memisahkan sistem komputasi, SDH dan sumber daya jaringan untuk memaksimalkan penggunaan yang efektif dan optimal dari masing-masing komponen ini. Disagregasi adalah satu-satunya cara untuk mengatasi volume, kecepatan, dan variasi data yang akan dibawa oleh era zettabyte.

Kedua: infrastruktur penyimpanan harus dibangun khusus, yaitu khusus. Perusahaan tidak akan lagi dapat mengandalkan solusi yang tidak khusus untuk penggunaan luas, karena satu solusi tidak akan mampu menyelesaikan seluruh jajaran tugas skala besar. Dalam dunia zettabytes, perusahaan harus bekerja seproduktif mungkin dan memusatkan semua perhatian mereka pada pencapaian satu tujuan - untuk memastikan keseimbangan sempurna antara kapasitas, kepadatan, dan biaya.

Ketiga: semua berbagai elemen proses harus dihubungkan satu sama lain dan secara cerdas memproses data. Interaksi antara perangkat keras dan perangkat lunak harus diatur, tetapi untuk mengembangkan perangkat keras dan perangkat lunak dengan benar, Anda harus berpengalaman dalam set lengkap teknologi, hanya dengan demikian dimungkinkan untuk memaksimalkan kinerja dan fungsi seluruh kompleks.

Solusi khusus berdasarkan teknologi rekaman magnetik keramik (SMR)


Ketika mempertimbangkan kemungkinan solusi yang dapat memenuhi kebutuhan berbasis data dekade berikutnya, tampaknya penting untuk mendapatkan umpan balik dari komunitas open source dan perangkat lunak Linux profesional tentang teknologi utama yang mendasari perekaman magnetik (SMR). Dengan SMR, trek data ditempatkan pada disk satu di atas yang lain, karena produsen peralatan ini dapat meningkatkan kapasitas sekitar 20%. Ini hanya mungkin dengan perekaman berurutan dari trek data atas, maka trek bawah tidak berubah.

Untuk banyak solusi hyper-scalable, perekaman berurutan akan menjadi pilihan yang baik, karena tugas kerja skala besar, seperti streaming video, diimplementasikan menggunakan prinsip write-once / multiple-read. Tetapi meningkatkan kinerja untuk mengimplementasikan SMR memerlukan pendesainan ulang arsitektur di sisi host akhir: Anda perlu mengubah sistem operasi untuk memposting catatan secara berurutan, atau bahkan membiarkan aplikasi melihat bahwa data sedang ditulis secara berurutan.

Pada tahap awal, beberapa perubahan akan diperlukan untuk mengubah arsitektur, tetapi keuntungan besar dalam hal meningkatkan kepadatan dan menurunkan biaya jelas akan menunjukkan semua keunggulan perangkat keras dan struktur khusus yang mempertimbangkan fitur aplikasi akun.

Menggunakan Teknologi Zoned Namespaces


Membandingkan HDD yang mendukung teknologi SMR dan SSD mungkin tampak aneh, karena dalam banyak hal teknologi ini secara konsep sangat berjauhan. Namun, jika Anda melihat SSD dan NAND dalam konteks tempat mereka di masa depan yang terpilah, Anda dapat menemukan teknologi yang menyertai SMR / HDD, itu disebut Zoned Namespace (ZNS).

Perangkat penyimpanan dengan memori NAND dirancang hanya untuk sejumlah penghapusan dan rekaman tertentu, dan oleh karena itu, perangkat tersebut perlu dikelola. Lapisan Flash Translation Layer (FTL) mengelola semuanya dengan cerdas mulai dari cache hingga kinerja dan memungkinkan Anda meratakan keausan. Namun, pada skala zettabyte, kontrol tingkat perangkat tersebut memperkenalkan tingkat menengah antara host dan drive tertentu, yang secara negatif memengaruhi bandwidth, latensi, dan biaya.

Tetapi di era baru, perusahaan akan ingin menjaga indikator ini terkendali dan memaksimalkan efisiensi kerja, sehingga fungsi manajemen ini harus ditransfer dari tingkat perangkat ke tingkat host, dan inti dari pendekatan SMR adalah persis seperti ini.

ZNS membagi flash drive menjadi zona, dan setiap zona menjadi namespace yang terisolasi. Penyedia solusi cloud dapat, misalnya, mendistribusikan berbagai jenis beban kerja atau data ke zona yang berbeda, sehingga memperoleh kemampuan untuk mengidentifikasi pola penggunaan yang dapat diprediksi untuk sejumlah pengguna tertentu. Tetapi yang lebih penting, data ditulis berurutan di zona tersebut, seperti pada rekaman magnetik ubin. Dan tiba-tiba kebutuhan untuk semua manajemen drive ini hilang begitu saja. Total:

  • penghematan tambahan, karena tidak perlu mengembang "taman" NAND flash drive;
  • memperpanjang umur disk dengan mengurangi perekaman yang berlebihan;
  • pengurangan keterlambatan yang signifikan;
  • peningkatan serius dalam bandwidth.



Zoned Storage - platform pemersatu untuk mendukung teknologi SMR dan ZNS


Ketika perusahaan bersiap untuk meningkatkan kebutuhan informasi mereka, peran penting diberikan untuk inisiatif seperti Zoned Storage, bekerja dengan komunitas profesional untuk menetapkan ZNS sebagai standar terbuka yang dapat menggunakan antarmuka yang sama dan antarmuka pemrograman aplikasi (API) seperti SMR. Langkah ini akan memungkinkan pengguna untuk menggunakan antarmuka tunggal untuk mengakses seluruh tingkat penyimpanan. Akibatnya, arsitek pusat data akan lebih mudah untuk beralih ke arsitektur berbasis zettabyte karena mereka tidak harus mengubah aplikasi apa pun solusi penyimpanan yang mereka pilih. Menggunakan arsitektur terpilah, terspesialisasi dan cerdas akan memungkinkan perusahaan menemukan keseimbangan baru antara kinerja, latensi, dan biaya.

More articles:


All Articles