تحميل صفيف NumPy من القرص: مقارنة memmap () و Zarr / HDF5

• طريقة NumPy memmap()، آلية شفافة تسمح لك برؤية ملف موجود على القرص كما لو كان في الذاكرة بالكامل. 
• تنسيقات تخزين البيانات Zarr و HDF5 المتشابهة مع بعضها البعض ، والتي تسمح ، إذا لزم الأمر ، بالتحميل من القرص وحفظ أجزاء مضغوطة من الصفيف إلى القرص.

ماذا يحدث عند قراءة البيانات من القرص أو كتابة البيانات على القرص؟

العمل مع صفيف باستخدام memmap ()

• هل البيانات في ذاكرة التخزين المؤقت؟ إذا كان الأمر كذلك - عظيم - يمكنك الاتصال بهم مباشرة.
• هل البيانات الموجودة على القرص؟ سيكون الوصول إليها أبطأ ، ولكن لا داعي للقلق حيال ذلك ، سيتم تحميلها في وضع شفاف.

import numpy as np
array = np.memmap("mydata/myarray.arr", mode="r",
                  dtype=np.int16, shape=(1024, 1024))

قيود Memmap ()

• يجب تخزين البيانات في نظام الملفات. لا يمكن تنزيل البيانات من التخزين الثنائي مثل AWS S3.
• , . , . , , , .
• N- , , , . .

Zarr و HDF5

• يمكنك العمل مع ملفات HDF5 في Python باستخدام pytables أو h5py . هذا التنسيق أقدم من Zarr ولديه قيود أكثر ، ولكن زائده هو أنه يمكن استخدامه في البرامج المكتوبة بلغات مختلفة.
• Zarr هو تنسيق يتم تنفيذه باستخدام حزمة Python التي تحمل الاسم نفسه. إنه أكثر حداثة ومرونة من HDF5 ، ولكن يمكنك استخدامه (على الأقل في الوقت الحالي) فقط في بيئة Python. وفقًا لمشاعري ، في معظم الحالات ، إذا لم تكن هناك حاجة إلى دعم متعدد اللغات لـ HDF5 ، فمن الجدير اختيار Zarr. Zarr ، على سبيل المثال ، لديها دعم متعدد أفضل.

باستخدام زر

>>> import zarr, numpy as np
>>> z = zarr.open('example.zarr', mode='a',
...               shape=(1024, 1024),
...               chunks=(512,512), dtype=np.int16)
>>> type(z)
<class 'zarr.core.Array'>
>>> type(z[100:200])
<class 'numpy.ndarray'>

لماذا اخترت زار؟

• زار يتحايل على القيود memmap()المذكورة أعلاه:
• يمكن تخزين أجزاء البيانات على القرص أو في تخزين AWS S3 أو في بعض أنظمة التخزين التي توفر القدرة على العمل مع سجلات تنسيق المفتاح / القيمة.
• يتم تحديد حجم وهيكل جزء البيانات من قبل المبرمج. على سبيل المثال ، يمكن تنظيم البيانات بطريقة تمكنها من قراءة المعلومات الموجودة بكفاءة على محاور مختلفة لصفيف متعدد الأبعاد. وينطبق هذا على HDF5.
• يمكن ضغط الأجزاء. ويمكن قول الشيء نفسه عن HDF5.

أبعاد الشظية

ضغط البيانات

ملخص: memmap () أم زار؟

• هناك العديد من العمليات التي تقرأ أجزاء من نفس الملف. memmap()ستتمكن هذه العمليات ، بفضل التطبيق ، من مشاركة نفس ذاكرة التخزين المؤقت. هذا يعني أنه يجب الاحتفاظ بنسخة واحدة فقط من البيانات في الذاكرة ، بغض النظر عن عدد العمليات قيد التشغيل.
• لا يرغب المطور في إدارة الذاكرة يدويًا. يخطط للاعتماد ببساطة على قدرات نظام التشغيل ، والتي ستحل جميع مشكلات إدارة الذاكرة تلقائيًا وبشكل غير مرئي للمطور.

• يتم تنزيل البيانات من مصادر بعيدة ، وليس من نظام الملفات المحلي.
• من المحتمل جدًا أن يكون عنق الزجاجة في النظام يقرأ من القرص. سيسمح ضغط البيانات باستخدام أكثر كفاءة لقدرات الأجهزة. ينطبق هذا أيضًا على HDF5.
• إذا كنت بحاجة إلى الحصول على شرائح من المصفوفات متعددة الأبعاد على طول محاور مختلفة ، فإن Zarr يساعد على تحسين مثل هذه العمليات من خلال تحديد الحجم المناسب وهيكل الأجزاء. وينطبق هذا على HDF5.