Get best of the week

Penyimpanan data zona


Western Digital baru-baru ini mengumumkan inisiatif penyimpanan zonalnya, sebuah inisiatif yang ditujukan pada infrastruktur data terbuka yang dirancang untuk memanfaatkan perangkat penyimpanan zonal.

Zoned Storage adalah paradigma penyimpanan baru yang dimotivasi oleh pertumbuhan data yang luar biasa. Masyarakat kita semakin tergantung pada data dalam kehidupan sehari-hari, dan manajemen data pada skala ekstrem menjadi semakin diperlukan. Saat ini, dalam infrastruktur pemrosesan data skala besar, puluhan ribu hard drive dan solid state drive digunakan. Namun demikian, dari lebih dari 30 data ZB yang dibuat per tahun, kurang dari 20% tetap dalam penyimpanan. Tujuan industri kami adalah untuk memastikan bahwa konsumen mampu untuk tidak membuang data yang dapat bermanfaat.

Pada artikel ini kita akan membahas:

  • Apa itu perangkat penyimpanan zona dan mengapa teknologi ini diterapkan
  • Hard Drive SMR dan ZNS Solid State Drive
  • Infrastruktur Data - Apa yang Diperlukan untuk Melaksanakan Penyimpanan Data Zonal

Apa itu perangkat penyimpanan zona?


Dalam bentuknya yang paling sederhana, perangkat penyimpanan zona adalah perangkat penyimpanan blok yang ruang alamatnya dibagi menjadi beberapa zona. ZSD memberlakukan aturan perekaman yang tidak konvensional: zona dapat direkam secara berurutan, hanya dimulai dari awal zona. Selain itu, data dalam suatu zona tidak dapat ditimpa secara sewenang-wenang.


Satu-satunya cara untuk menimpa zona yang sudah direkam adalah mengatur ulang penunjuk catatan zona, yang secara efektif menghapus semua data di zona tersebut, dan menimpanya dari awal zona. Di sisi lain, membaca data sebagian besar tidak terbatas, dan dapat dibaca dengan cara yang sama seperti pada perangkat penyimpanan tradisional.

Konsep perangkat penyimpanan zonal distandarisasi:

  • Untuk perangkat dengan antarmuka SAS, bekerja dengan zona ditentukan dalam standar T10 ZBC
  • SATA juga distandarisasi di bawah T13 ZAC
  • Untuk NVMe SSD, proposal teknis sedang dikembangkan yang disebut ZNS

Mengapa penyimpanan zonal?


Motivasi untuk menerapkan teknologi penyimpanan zona adalah efisiensi tinggi dari infrastruktur penyimpanan. Berkat teknologi ini, perangkat berkapasitas lebih tinggi dapat digunakan dengan cara yang lebih ekonomis. Rincian lebih lanjut tentang bagaimana efisiensi ekonomi ini dicapai untuk setiap jenis perangkat zona akan dijelaskan nanti dalam artikel ini.

Semuanya dimulai dengan SMR


Selama beberapa tahun terakhir, teknologi perekaman magnetik ubin (SMR) telah diperkenalkan di hard drive, yang telah meningkatkan kepadatan perekaman, meningkatkan kapasitas dan efektivitas biaya hard drive. Dalam SMR, tidak seperti rekaman konvensional, trek direkam tumpang tindih, seperti ubin di atap rumah. Ini memungkinkan Anda untuk mengemas trek lebih padat dan, karenanya, memberikan kepadatan perekaman yang lebih tinggi. Bahkan, menggunakan SMR memberi kami kapasitas terabyte "gratis": Anda dapat membuat drive SMR 14 atau bahkan 15 TB berdasarkan drive 12 TB biasa, tanpa meningkatkan biaya produksi.


Keterbatasan utama dari teknologi ini adalah ketidakmampuan untuk menulis data ke trek secara acak. Karena kami tidak dapat mengganti ubin sewenang-wenang di atap rumah, maka dengan data di SMR - kami tidak dapat secara sewenang-wenang menimpa beberapa blok tanpa mengaitkan trek yang berdekatan. Untuk mengontrol perekaman, permukaan disk dibagi menjadi beberapa zona dengan celah di antara mereka. Ini memungkinkan Anda untuk merekam dan menghapus masing-masing zona secara independen satu sama lain (ukuran zona dalam disk generasi saat ini biasanya 256 MB).

Beberapa pendekatan dapat digunakan untuk mengontrol batasan rekaman. Pendekatan tradisional (drive-managed - dikontrol oleh drive itu sendiri) mengasumsikan bahwa perangkat memproses pembatasan tulis internal sendiri menggunakan algoritma dan buffer mikrokode, dan menyediakan antarmuka host normal. Jenis SMR ini biasanya digunakan pada perangkat klien seperti laptop HDD. Namun, untuk sistem perusahaan atau cloud skala besar, di mana kinerja dan pemanfaatan ruang harus dapat diprediksi, mengandalkan disk itu sendiri untuk mengontrol perekaman berurutan tidak dimungkinkan - kinerja "mengapung" terlalu banyak tergantung pada struktur dan intensitas beban dan kepenuhan buffer.

SMR yang dikelola oleh host adalah persyaratan yang hampir wajib untuk sistem penyimpanan data yang besar dan merupakan pilihan yang lebih disukai untuk pusat data.

Kontrol host SMR distandarisasi dalam INCITS T10 / T13 sebagai bagian dari standar perangkat Zone Block Command (ZBC) dan Zone ATA (ZAC) untuk SAS dan SATA.

NVMe dan Zone Namespaces di Solid State Drive


Untuk solid state drive (SSD), pembatasan keberadaan wilayah yang hanya dapat ditulis secara berurutan (halaman NAND) dan harus dihapus sebelum data baru ditulis (blok NAND) adalah properti integral dari operasi memori flash NAND.

Ketika SSD pertama kali diperkenalkan, mereka memperkenalkan sistem manajemen internal, yang disebut Flash Translation Layer (FTL), yang membahas batasan rekaman ini. FTL memungkinkan penggunaan solid state drive daripada hard drive tanpa perlu segera menulis ulang tumpukan perangkat lunak. Untuk pengguna akhir, SSD terlihat seperti hard drive dengan akses acak cepat ke informasi - dan ini adalah kelebihan FTL.

Namun, kontrol lokal dalam SSD jauh dari ideal dalam hal efisiensi. Secara khusus, ada beberapa faktor seperti:

  • Tulis Amplifikasi: Untuk mengatasi keterbatasan data yang tidak ditimpa, SSD harus memindahkan data sendiri untuk membersihkan area penyimpanan yang tidak digunakan yang disebut Garbage Collection (GC). Proses pengumpulan sampah, ketika FTL "memainkan tag" dengan blok data, menyebabkan beberapa kali perekaman dari informasi yang sama (karenanya disebut "perekaman berlebih"), yang mengarah pada peningkatan keausan pada memori flash dan memperpendek masa pakai solid state drive. Koefisien WA menunjukkan berapa banyak operasi tulis yang harus dilakukan di dalam drive untuk satu operasi tulis yang diterima dari host.



  • (overprovisioning — OP): ( 28% ) .
  • DRAM : FTL - DRAM. , DRAM . — 1 SSD. , SSD 15.36 — 16 «» . , !
  • QoS, . FTL , , , .

Kekurangan ini dapat diterima pada gelombang pertama pengenalan solid state drive, karena tumpukan dan antarmuka perangkat lunak dirancang untuk hard drive, dan waktu respons terhadap HDD jauh lebih lama. Untuk pengguna akhir, beralih dari HDD ke SSD masih terasa akselerasi.

Namun, seiring berjalannya waktu, industri beralih ke menciptakan antarmuka dan tumpukan perangkat lunak yang lebih efisien yang dapat memanfaatkan latensi yang lebih rendah dan bandwidth flash yang lebih tinggi. Secara khusus, spesifikasi antarmuka NVMe (Non-Volatile Memory Express) dibuat dan tumpukan perangkat lunak berbiaya rendah yang sesuai dikembangkan.

Keadaan industri saat ini sedemikian rupa sehingga optimalisasi lokal yang terjadi di SSD FTL sekarang merugikan penyebaran infrastruktur data. Secara khusus, banyak pelanggan memiliki keinginan untuk menciptakan beban kerja sekuensial yang digerakkan oleh host yang cocok dengan ukuran blok flash NAND. Sebagai tanggapan, NVMe menstandarisasi ruang nama zona (ZNS), yang memungkinkan host untuk mengarahkan I / O untuk berbagi beban kerja, sementara juga meningkatkan latensi, bandwidth, dan efektivitas biaya dengan memindahkan kontrol utama ke host.

Jika kita berbicara tentang efisiensi ekonomi, transisi ke ZNS SSD akan mengurangi biaya drive dengan menggunakan sejumlah kecil NAND (pengurangan redundansi), kemungkinan menggunakan QLC di drive server, mengurangi jumlah DRAM dalam pengontrol SSD.

Infrastruktur Data - Menerapkan Gudang Data Zona


Kami telah menemukan bahwa perangkat blok zonal meningkatkan efisiensi penyimpanan, namun, untuk mengambil keuntungan dari perangkat baru ini, beberapa upaya diperlukan, karena mereka tidak memiliki kompatibilitas mundur dengan tumpukan program blok biasa. Sementara perangkat penyimpanan tradisional tidak memiliki batasan rekaman, perangkat blok zona memiliki batasan rekaman yang harus konsisten dalam zona tersebut. Konsekuensi utama dari ini adalah kebutuhan untuk memperbarui tumpukan perangkat lunak.

Komponen pertama yang perlu diperbarui adalah sistem operasi. Ini bukan tugas sepele dalam sistem operasi multi-tasking modern yang berjalan pada server multi-core dan multi-socket yang khas pada pusat data. Komunitas Linux telah melakukan upaya signifikan untuk mendukung perangkat blok zona pada umumnya, dan SMR pada khususnya.

Selain mendukung kernel Linux, ada sejumlah utilitas dan aplikasi yang mendukung Zone Block Devices, seperti fio, Blktests, dan util-linux.

Linux Kernel dan Zone Block Devices


Bekerja pada dukungan untuk penyimpanan zona di kernel Linux dimulai kembali pada tahun 2014 dengan jumlah dukungan terkecil dibangun ke dalam kernel 3,18. Rilis kernel pertama dengan dukungan fungsional untuk perintah ZBC / ZAC adalah kernel 4.10 di awal 2017. Dukungan terus meningkat, dan kernel terbaru memiliki dukungan untuk menampilkan perangkat zona dalam bentuk blok / dev / sd, serta dukungan untuk beberapa sistem file (f2fs, btrfs).

Gambar di bawah ini menunjukkan gambar tingkat tinggi dari struktur kernel Linux dan bagaimana perangkat zona dapat diintegrasikan dengan perangkat blok tradisional. Dukungan dalam kernel Linux diimplementasikan dengan memodifikasi beberapa komponen yang ada, memperkenalkan antarmuka baru, seperti antarmuka ZBD di tingkat blok, dan memperkenalkan komponen baru, seperti device-mapper dm-zoning.


Seperti yang ditunjukkan pada gambar, ada banyak cara di mana penyebaran infrastruktur data dapat menggunakan perangkat blok zona. Misalnya (i) Menggunakan sistem file lama di atas volume LVM yang dikategorikan dm, (ii) menggunakan sistem file berkemampuan ZBC, (iii) menggunakan aplikasi berkemampuan ZBD yang berinteraksi langsung dengan perangkat blok melalui pustaka pengguna seperti libzbc, dan dll.

Inisiatif Penyimpanan Area - Mempromosikan dukungan yang lebih luas dan implementasi teknologi terapan


Terlepas dari keberhasilan yang dibuat oleh komunitas open source pengembang dalam mendukung Zone Block Devices, insinyur teknologi informasi dan pengembang aplikasi masih berusaha untuk menggunakan teknologi ini, misalnya, mencari tahu tingkat dukungan apa yang ada di setiap rilis kernel Linux, versi aplikasi mana yang memiliki dukungan yang diperlukan dan versi kernel mana yang diperlukan untuk pekerjaan mereka.

Inisiatif penyimpanan zonal diluncurkan sebagian untuk mengatasi masalah ini dan untuk mempromosikan dukungan aplikasi yang lebih luas untuk teknologi penyimpanan zonal. Anda dapat mengunjungi situs ZonedStorage.iountuk mempelajari lebih lanjut tentang teknologi penyimpanan zonal dan penggunaan ZNS SSD dan ZBC / ZAC SMR. Di sana Anda akan menemukan informasi tentang masalah-masalah berikut:

  • Perangkat blok zona
  • Panduan Memulai
  • Dukungan dan fitur kernel Linux
  • Aplikasi dan Perpustakaan
  • Emulasi perangkat zona secara teratur
  • Pengujian kinerja
  • Tes Kepatuhan Sistem

Menggunakan platform ini, insinyur infrastruktur dan pengembang aplikasi penyimpanan sekarang memiliki lokasi terpusat untuk mendapatkan semua informasi dan sumber daya yang diperlukan untuk menggunakan teknologi penyimpanan area.

Apakah kamu siap


Kunjungi ZonedStorage.io dan lihat apakah server Anda siap untuk bekerja dengan drive zona. Cobalah untuk menggunakan emulasi perangkat lunak di atas perangkat biasa, dan mungkin ternyata struktur beban aplikasi Anda cocok dengan konsep penyimpanan zona, dan Anda harus mempertimbangkan untuk menggunakan lingkungan pengujian.

More articles:


All Articles