Enam bulan lalu, saya sudah mulai berbicara tentang memperbarui saluran penyimpanan Huawei - Dorado V6. Bahkan, saya berhasil mengenal mereka sebelum pengumuman resmi, dan masuk akal bahwa pada saat itu saya tidak memiliki kesempatan untuk menyentuh mereka dengan tangan saya sendiri. Dalam artikel saya " Huawei Dorado V6: Sichuan Heat ", saya fokus pada model Dorado 8000 dan 18000 V6 yang lebih lama, karena dari sudut pandang arsitektur mereka paling menarik bagi saya pada saat itu. Akhirnya, saya mendapat kesempatan untuk menguji sistem 5000V6 di laboratorium kami dan berbicara lebih banyak tentang sisi teknis dari sistem ini.Di satu sisi, ini adalah tinjauan dan pengujian sistem 5000V6, di sisi lain, ini merupakan kelanjutan logis dari artikel sebelumnya, karena selama enam bulan terakhir, lebih banyak detail telah muncul tentang berbagai komponen sistem, logika kerja dan fungsionalitas yang diterapkan.Tapi mari kita langsung ke intinya. Karena sistem ini lebih akrab - sistem dual-controller, ia telah kehilangan beberapa kelebihan kakak-kakaknya.- Kurangnya Frontend dan Backend yang dibagikan.
- Juga, dalam sistem 5000V6 dan 6000V6, hanya dua prosesor Kunpeng 920 yang dipasang pada masing-masing pengontrol, dan satu di 3000V6.
- Jika rak yang sama disediakan untuk 5000V6 dan 6000V6 seperti untuk 8000V6 dan 18000V6 dengan chip Kunpeng, yang dirancang untuk mempercepat proses pembangunan kembali, dan rak-rak ini terhubung melalui RDMA 100Gb, maka untuk model 3000V6 yang lebih muda hanya rak SAS yang tersedia.
- 5000V6 dan 6000V6 dirancang untuk menginstal 36 SSD PALM atau 25 x 2.5 "SAS SAS" biasa (dipilih saat mengkonfigurasi sistem saat memesan), 3000V6 termuda hanya mendukung 25 SAS SAS.
- 3000V6 mendukung pemasangan hingga tiga kartu antarmuka hot-swappable pada controller, 5000V6 dan 6000V6 mendukung enam kartu.
Seperti pada artikel sebelumnya, ada catatan kaki tentang NVMe End-to-End: dukungan untuk NVMe over RoCE v2 dan NVMe over TCP / IP direncanakan dalam waktu dekat.Secara arsitektur, sistem dual-controller, tentu saja, juga berbeda.OceanStor Dorado V6 menggunakan arsitektur aktif-aktif yang memiliki teknologi berikut.- Algoritma Load Balancing: menyeimbangkan permintaan baca dan tulis yang diterima oleh setiap pengontrol.
- Cache global: memungkinkan LUN untuk tidak memiliki pemilik. Setiap pengontrol memproses permintaan baca dan tulis yang diterima, menyediakan penyeimbangan muatan antara pengontrol.
- RAID 2.0+: mendistribusikan data secara merata ke semua disk di kumpulan penyimpanan, menyeimbangkan beban pada disk.
RAID 2.0+
Jika data tidak disimpan secara seragam di SSD, beberapa SSD yang sarat muatan bisa menjadi hambatan sistem. OceanStor Dorado V6 menggunakan RAID 2.0+ untuk mendistribusikan data secara merata di semua LUN pada setiap SSD, menyeimbangkan beban antar drive. OceanStor Dorado V6 mengimplementasikan RAID 2.0+ sebagai berikut:- beberapa SSD membentuk kumpulan penyimpanan
- setiap SSD dibagi menjadi potongan-potongan ukuran tetap (biasanya 4 MB per potongan) untuk menyederhanakan manajemen ruang logis
- potongan dari SSD yang berbeda membentuk kelompok potongan berdasarkan pada kebijakan RAID yang ditentukan pengguna
- kelompok chunk dibagi menjadi "biji-bijian" (biasanya 8 KB), yang merupakan unit terkecil untuk volume
ROW Full-Stripe Write
Chip memori flash pada SSD dapat dihapus beberapa kali. Dalam mode penulisan ulang RAID tradisional (write-to-place), data panas pada SSD terus ditimpa dan chip flashnya aus dengan cepat. OceanStor Dorado V6 menggunakan rekaman full-redirectional write (ROW) untuk data baru dan lama. Dia mengalokasikan chip flash baru untuk setiap catatan, menyeimbangkan berapa kali semua chip flash dihapus. Ini secara signifikan mengurangi beban prosesor pada pengontrol itu sendiri dan beban baca / tulis pada SSD selama proses penulisan, meningkatkan kinerja sistem pada level RAID yang berbeda.Prioritas I / O ujung ke ujung
Untuk memastikan latensi yang konsisten untuk tipe I / O tertentu, pengendali OceanStor Dorado V6 menandai setiap operasi I / O dengan prioritas sesuai dengan tipenya. Ini memungkinkan sistem untuk merencanakan CPU dan sumber daya lainnya dan memprioritaskannya, menawarkan jaminan latensi berdasarkan prioritas I / O. Secara khusus, setelah menerima beberapa SSD I / O periksa prioritas mereka dan proses operasi terutama dengan prioritas yang lebih tinggi.OceanStor Dorado V6 mengklasifikasikan operasi I / O ke dalam lima tipe berikut dan memprioritaskannya dalam urutan menurun, memberikan respons I / O internal dan eksternal yang optimal:- operasi baca / tulis
- fungsi I / O tingkat lanjut
- rebild
- cache flush
- Pengumpulan sampah
Di setiap drive, selain memprioritaskan operasi input / output, OceanStor Dorado V6 juga memungkinkan permintaan baca prioritas tinggi untuk mengganggu operasi penulisan dan penghapusan saat ini. Dalam kasus ini, penundaan pembacaan disk (jika tidak ada data dalam cache) secara langsung memengaruhi penundaan pembacaan host. Biasanya, drive flash SSD melakukan tiga operasi: membaca, menulis, dan menghapus. Erase delay adalah dari 5 ms hingga 15 ms, delay tulis adalah dari 2 ms hingga 4 ms, dan penundaan baca adalah dari puluhan mikrodetik hingga 100 mikrodetik. Ketika chip flash melakukan operasi tulis atau hapus, operasi baca harus menunggu sampai operasi saat ini selesai, yang mengarah ke peningkatan yang signifikan dalam penundaan baca.Penutup smart disk
Seperti yang saya tulis di artikel sebelumnya, rak disk baru dilengkapi dengan prosesor dan RAM mereka sendiri. Ini memungkinkan Anda untuk mentransfer tugas seperti memulihkan dari kegagalan disk dari pengontrol. Ini secara signifikan mengurangi beban pada pengontrol jika pemulihan data karena kegagalan disk. Gambar berikut menunjukkan proses pemulihan data dalam rak disk tunggal menggunakan RAID 6 (21 + 2) sebagai contoh. Jika drive D1 rusak, controller harus membaca D2-D21 dan P, dan kemudian menghitung ulang D1. Secara total, 21 blok data harus dibaca dari disk. Membaca dan memulihkan operasi, gunakan sumber daya prosesor yang besar.
SmartDedupe dan SmartCompression
OceanStor Dorado V6 secara otomatis melakukan deduplikasi dan kompresi adaptif berdasarkan karakteristik data pengguna, memaksimalkan efisiensi. Proses adaptif dari deduplikasi dan kompresi adalah sebagai berikut.- , , . , . .
- , «» (SFP) «». , .
- Ketika beberapa SFP identik diakumulasi dalam tabel "kapabilitas", data yang terkait dengan SFP ini dibaca dari disk deduplikasi setelah pemrosesan. Setelah deduplikasi selesai, tabel sidik jari diperbarui.
Sebelum mengompresi data, OceanStor Dorado V6 menggunakan algoritma preprocessing sendiri untuk menentukan bagian yang sulit dikompres dalam blok data berdasarkan format data. OceanStor menata ulang data, membaginya menjadi dua bagian:- untuk bagian yang sulit dikompres, sistem memampatkannya menggunakan algoritma kompresi Huawei yang dikembangkan khusus
- untuk bagian lain, sistem menggunakan algoritma kompresi umum
Beberapa vendor penyimpanan sudah menggunakan pemadatan data di gudang mereka. Tetapi mereka biasanya menggunakan blok 4K atau 1K untuk mengompres data. Huawei telah melangkah lebih jauh dan menggunakan perataan byte. Saya pikir ilustrasinya jelas.Dengan demikian, kami memasukkan 32KB data pengguna dalam waktu kurang dari 5KB.Kompresi dan deduplikasi sekarang selalu berfungsi sejak Anda memasang lisensi Storage E-cency yang sesuai. Itu tidak dapat dinonaktifkan dari Device Mabager, tetapi jika Anda benar-benar ingin, itu dapat dilakukan melalui CLI. Menurut logika vendor, teknologi hemat-ruang harus selalu berfungsi pada SSD.Satu poin penting di sepanjang garis. Meskipun hanya ada lima model, mereka, antara lain, berbeda di antara mereka sendiri dalam volume cache masing-masing pengontrol:- OceanStor Dorado 3000 V6: 192 GB
- OceanStor Dorado 5000 V6: 256 GB / 512 GB
- OceanStor Dorado 6000 V6: 1024 GB
- OceanStor Dorado 8000 V6: 512 GB / 1024 GB / 2048 GB
- OceanStor Dorado 18000 V6: 512 GB / 1024 GB / 2048 GB
Seperti yang Anda lihat, volume total model lama tidak berubah, tetapi jumlah drive berubah. Menurut pernyataan insinyur Huawei, mereka sama sekali tidak memiliki kesempatan untuk menguji sistem pada volume yang lebih besar dari 2Pb. Secara teoritis, mereka mendukung lebih banyak.Jumlah maksimum drive / kapasitas maksimum: - OceanStor Dorado 3000 V6 - 1000 / 500TiB
- OceanStor Dorado 5000 V6 - 1200 / 1024TiB
- OceanStor Dorado 6000 V6 - 1500 / 2048TiB
- OceanStor Dorado 8000 V6 - 3200 / 2048TiB
- OceanStor Dorado 18000 V6 - 6400 / 2048TiB
Dalam artikel sebelumnya, saya lupa menyebutkan kartu antarmuka mana yang umumnya tersedia:Saya sudah mengatakan (baik dalam artikel sebelumnya dan yang satu ini) bahwa Huawei menawarkan SSD dengan desain mereka sendiri - Palm Size, atau, sebagaimana mereka menyebutnya, SSD yang dikembangkan Huawei (HSSD) sebagai perangkat penyimpanan.Selain fakta bahwa perusahaan menganggap pengembangan mereka lebih cepat, ia juga menawarkan beberapa fitur utama.
SSD / - NAND. - NAND.
HSSD . SSD , /. SSD / , , , , .- (Bad Block)
- NAND. HSSD /, - NAND. , SSD (XOR) . HSSD , . - Pemeriksaan Latar Belakang
Setelah penyimpanan data jangka panjang dalam NAND flash, kesalahan data dapat terjadi karena gangguan baca, gangguan tulis, atau kegagalan fungsi yang tidak disengaja. HSSD secara berkala membaca data dari memori flash NAND, memeriksa perubahan bit, dan menulis perubahan bit ke halaman baru. Proses ini pra-deteksi dan proses risiko, yang secara efektif mencegah kehilangan data dan meningkatkan keamanan dan keandalan data.
Jadi, mari kita langsung ke tes. Kami menguji kedua variasi pengendali 5000V6 dengan cache 256 GB dan 512 GB.Tes pertama adalah pemanasan.Seperti yang dapat kita lihat, pada profil beban 8k 50r / 50rw ini, perbedaannya sekitar 7% (220 kIOP dibandingkan 205 kIOP) dan hanya memengaruhi jumlah akhir IOPS, dan waktu respons tetap pada level yang sama - 0,9 ms.Ngomong-ngomong, sangat sederhana untuk menentukan bahwa kami mulai bersandar pada controller, sistem itu sendiri melaporkan pemanfaatan tinggi prosesor controller.Tes kedua yang kami gunakan untuk semua sistem pada SSD adalah mengevaluasi dan membandingkannya dengan profil yang lebih kompleks.Profil[global]
direct=1
thread=1
iodepth=16
filename=/dev/sdb
ioengine=libaio
runtime=3600000
group_reptorting
time_based
[8r]
rw=randread
numjobs=24
bs=8k
[8w]
rw=randwrite
numjobs=24
bs=8k
[32r]
rw=randread
bs=32k
numjobs=1
[32w]
rw=randwrite
numjobs=1
bs=32k
[128r]
rw=read
bs=128k
numjobs=1
[128w]
rw=write
bs=128k
numjobs=1
[512r]
rw=read
bs=512k
numjobs=1
[512w]
rw=write
bs=512k
numjobs=1
Di sini gambarnya sangat berbeda. Jika perbedaan jumlah IOPS dalam dua ribu (172 kIOP vs 170 kIOP) sama sekali tidak signifikan, maka penundaan meningkat lima kali (dari 0,4 ms menjadi 2,1 ms), memberi tahu kita bahwa ketika bekerja dengan blok besar, jumlah cache yang lebih besar memberi keuntungan bagi sistem.Tahun lalu, kolega dan saya sudah menguji Huawei Dorado 5000 V3 , jadi sekarang kita dapat membandingkan kedua sistem ini.Kemajuan di wajah. Profil beban dan prosedur pengujian sama dalam kedua kasus.Tentu saja, akan lebih baik untuk membuat perbandingan dengan pesaing juga, secara pribadi, tangan saya sangat gatal untuk dibandingkan dengan NetApp AFF A400, sistem Full NVMe, yang muncul belum lama ini. Sayangnya, dia belum mengunjungi lab pengujian kami, dan membandingkan dengan AFF A300 tidak sepenuhnya logis, meskipun sebelumnya Dorado 5000 V3 Huawei diposisikan sebagai pesaingnya.Di halaman abad ke-21, banyak perusahaan menawarkan berbagai program untuk meningkatkan daya tarik sistem mereka. Huawei telah memutuskan untuk mengikuti arah ini.Jaminan Kapasitas yang Efektif
Dengan sistem penyimpanan V6 yang baru, Anda dapat dengan aman mengandalkan penyimpanan data yang efisien dengan kompresi dan deduplikasi. Secara umum, banyak vendor di pasar sudah menawarkan program serupa, yang karena penyimpanan yang lebih efisien memungkinkan penyimpanan lebih banyak data yang dijamin pada volume berguna yang diperoleh dari sistem penyimpanan data.Biaya setiap terabyte SSD masih cukup tinggi, sehingga teknologi kompresi dan deduplikasi sangat berguna, dan mereka menunjukkan efisiensi tinggi pada banyak jenis data. Jika data Anda adalah video, audio, gambar, data ilmiah, PDF, XML atau data terenkripsi, maka deduplikasi tidak akan efektif, jika tidak, jaminan akan berfungsi. Bahkan jika Anda membeli sistem dengan jumlah drive maksimum yang diinstal, maka bersama dengan drive di bawah program Anda juga akan menerima rak ekspansi.Flashver
Jika, bersama-sama dengan larik, Anda membeli program Huawei Hi-Care Onsite atau Co-Care atau lebih tinggi, maka Anda dapat mengandalkan pembaruan gratis controller untuk model-model baru dari baris yang sama. Ini memungkinkan Anda untuk memiliki sistem paling modern dan produktif tanpa perlu membeli sistem baru atau migrasi data. Proses penggantian pengontrol juga terjadi tanpa gangguan layanan.Jika Anda penggemar antarmuka dan ingin melihat Device Manager yang diperbarui, maka OceanStor Dorado 18000 V6 6.0.0 DeviceManager sudah tersedia di portal Huawei .Sayangnya, sistem ini hanya pada pengujian kami selama beberapa hari, jadi kami hanya berhasil mengukur kinerja. Tapi saya juga ingin melakukan tes fungsional, tes kegagalan favorit kami dan memeriksa beberapa keluhan kinerja yang sebelumnya ke lini V3 dalam melakukan beberapa operasi - penting untuk memahami perubahan apa yang terjadi pada baris baru (dan, dengan demikian, dalam perangkat lunak) telah terjadi dan efek apa yang mereka bawa.Saya ingin mencatat bahwa sebagian besar tes yang saya lakukan untuk artikel saya adalah kerja tim. Saya mengucapkan terima kasih kepada kolega saya dari Grup integrasi perusahaan "Onlanta" dengan siapa saya bekerja. Omong-omong, kami mencari arsitek sistem di tim kami .