👨🏼‍🏭 🤹 ⏏️ लिनक्स पर Qemu KVM डिस्क सबसिस्टम को तेज करना 🕠 🥓 🍰

कभी-कभी मैं सर्वर स्थापित करने के लिए विभिन्न कार्यों को करता हूं। कुछ समय पहले, एक छोटी होस्टिंग कंपनी के मालिक ने एक दिलचस्प समस्या के साथ मुझसे संपर्क किया। वह अपने सर्वर पर KVM के तहत विंडोज वर्चुअल मशीन चलाना चाहता है, जहां Ubuntu 18.04 पहले से ही इंस्टॉल था।

हालांकि, उनके परीक्षण से पता चला कि केवीएम डिस्क सिस्टम उन संकेतकों से पीछे रह गया है जो उसके हाइपर-वी के तहत थे। वह महंगे विंडोज सर्वर लाइसेंस (Microsoft हाइपर-वी सर्वर का मुफ्त संस्करण अपनी सीमाओं के कारण काम नहीं करता) खरीदने से बचने के लिए अपने उबंटू सर्वर पर क्यूमू को अनलॉक्ड करना चाहता था।

0. विवाद

परीक्षण के लिए, हमने सैमसंग 970 प्रो 1 टीबी एसएसडी का उपयोग किया। ग्राहक ने क्रिस्टलडिस्कमार में काम के परिणामों की जांच की, इसलिए लेख में आगे इसके सभी ग्राफ़ हैं।

विंडोज 10 एलटीएससी	हाइपर- V 2 सी.पी.यू.	केवीएम 2 सीपीयू

पहला कदम यादृच्छिक आई / ओ प्रदर्शन में सुधार करना था। इस प्रकार का लोड वर्चुअल मशीनों के लिए विशिष्ट है, विशेष रूप से उनमें से जो विभिन्न डेटाबेस का उपयोग करते हैं।

उबंटू (16.04 एलटीएस और 18.04) अभी भी क्यूमू संस्करण 2.11 का उपयोग करता है। इसलिए, इस आलेख में कुछ नवीनतम qemu बन्स पर विचार नहीं किया गया है।

हमने तय किया कि हमें आभासी मशीन से लोहे को बांधने से बचने की आवश्यकता है, क्योंकि यह आभासी मशीनों के पोर्टेबिलिटी को जटिल करता है, इसलिए एसएसडी / भौतिक डिस्क / विभाजन को आभासी मशीनों में फेंकने के विकल्पों को अवांछनीय माना गया।

CrystalDiskMark के लिए परीक्षण फ़ाइल आकार के बारे में

, 100 4. , : , .

, , Windows . 100 4 , 40 .

, , 100-1. 4.

1. हम LVM संस्करणों का उपयोग करते हैं, वर्चुअल मशीन डिस्क के भंडारण के लिए फाइलें नहीं।

तर्क यह है। वर्चुअल डिस्क के साथ फाइल लिनक्स फाइल सिस्टम में संग्रहीत है, NTFS फाइल के अंदर ही स्थित है। डिस्क ऑपरेशन के दौरान प्रत्येक फाइल सिस्टम संसाधनों की खपत करता है। इसलिए, गुड़िया की गहराई जितनी कम होगी, इनपुट / आउटपुट उतना ही तेज़ होगा।

अगर हम qcow2 फ़ाइलों के बारे में बात करते हैं, तो उनका नाम "क्यूमू कॉपी-ऑन-राइट" के लिए है और वास्तव में, उनकी अपनी अनुवाद तालिका है जिसके लिए जिम्मेदार है कि कौन से ब्लॉक व्यस्त हैं, कौन से नहीं हैं और कहां स्थित है।

LVM परत फ़ाइल सिस्टम की तुलना में काफी कम प्रोसेसर संसाधनों की खपत करती है। इसका एक कारण यह है कि इसमें मौजूद ब्लॉक एक विशिष्ट फाइल सिस्टम ब्लॉक (4KB) से बहुत बड़े हैं। भौतिक LVM डिवाइस पर बड़ा ब्लॉक (सीमा), अधिक तेज़ी से IO होता है और कम विखंडन होता है।

लेकिन यहां तक कि SSD के लिए यादृच्छिक I / O सीरियल की तुलना में बहुत धीमा है। इसलिए, वॉल्यूम समूह बनाते समय, हम एक बहुत बड़ी सीमा निर्दिष्ट करेंगे: 256MB।

आगे पढ़ें एक तार्किक वॉल्यूम को बंद कर दिया जाना चाहिए, क्योंकि यह बिना जीत के IO खर्च करता है, क्योंकि अब कोई भी SSDs पर विंडोज में डिफ्रैगमेंन्टिंग डिस्क नहीं है।

एलवीएम वर्चुअल मशीनों की मेजबानी के लिए उपयोग करने के लिए काफी सुविधाजनक है। शारीरिक डिस्क के बीच LVM वॉल्यूम आसानी से पोर्टेबल हैं, ऑनलाइन स्नैपशॉट और आकार बदल रहे हैं। इसके अलावा, गुण-प्रबंधक (libvirt) वॉल्यूम समूह से वर्चुअल मशीन डिस्क के लिए बॉक्स से बाहर तार्किक वॉल्यूम बना सकता है।

पतले वॉल्यूम बनाने की क्षमता भी आकर्षक लगती है, लेकिन यह देखते हुए कि एक पतली मात्रा अमूर्तता की एक अतिरिक्त परत है, यह स्पष्ट है कि यह आईओ प्रदर्शन को नीचा दिखाएगा। इसके अलावा, libvirt में पतले पूल में आभासी मशीनों के लिए स्वचालित रूप से डिस्क बनाने का एक सुंदर तरीका नहीं है।

#    SSD    (volume group)
pvcreate /dev/nvme1n1p1

#    win    (extent) 256.
vgcreate -s 256M win_pool /dev/nvme1n1p1

#    vm1.    C
lvcreate -n vm1 -L 100G win_pool

#      (read ahead)
lvchange -r none /dev/win_pool/vm1

1.1। स्नैप के लिए डिस्क और / या लॉजिकल वॉल्यूम सेटिंग्स के रूप में पतली मात्रा

यदि आप एक पतली पूल का उपयोग करना चाहते हैं जिसमें आप पतले वॉल्यूम बनाएंगे, तो यह पूल के चंक साइज़ को 4MB पर सेट करने के लिए समझ में आता है, जो कि 64KB के डिफ़ॉल्ट आकार से बहुत बड़ा है।
जो अमूर्तता की इस परत के काम को तेजी से पूरा करेगा।

LVM में स्नैपशॉट तंत्र पतले वॉल्यूम के समान कोड पर काम करता है, इसलिए स्नैपशॉट की गति बढ़ाने के लिए सेटिंग्स समान होंगी।

lvcreate -c 4m -L 300G -T -Zn win_pool/thin

विकल्प -Znहाइलाइट करते समय शून्य के साथ चंक को ओवरराइट करने में अक्षम करता है, जिससे काम की गति बढ़ जाती है।

Lvm.conf या इसी तरह की फ़ाइल के लिए सेटिंग (उदा। Lvmlocal.conf):

thin_pool_chunk_size = 4096
thin_pool_zero = n

आप निम्न कमांड के साथ परीक्षण को पूरा करके चंक का इष्टतम आकार निर्धारित कर सकते हैं --blocksize:

fio --name=randwrite --filename=/dev/nvme0n1p9 --size=10G --ioengine=libaio --iodepth=1 --buffered=0 --direct=1 --rw=randwrite --blocksize=4m

आप कमांड के साथ चंक का वर्तमान आकार देख सकते हैं:

lvs -ao name,chunksize

2. प्रत्येक KVM वर्चुअल मशीन को आवंटित तार्किक प्रोसेसर की संख्या में वृद्धि से डिस्क प्रदर्शन में सुधार होता है

10 सीपीयू	8 सीपीयू	4 सीपीयू

यह स्पष्ट है कि शायद ही कोई वर्चुअल मशीन को 10 प्रोसेसर आवंटित करेगा, लेकिन चरम मामले को देखना दिलचस्प था।

यह पहले से ही मुक्त प्रोसेसर की संख्या पर निर्भर करता है। मेरी राय में, यह 4 से अधिक आवंटित करने के लिए अक्षम है। 8 के बराबर धागे की संख्या के साथ, हमें अधिकतम यादृच्छिक पढ़ने और लिखने का प्रदर्शन मिला। यह क्रिस्टलडिस्कमर 6.0.2 की एक विशिष्टता है, जिसमें दूसरा परीक्षण 8 धागे का संचालन करता है।

जिससे हम यह निष्कर्ष निकाल सकते हैं कि प्रत्येक कार्य के लिए एक तार्किक प्रोसेसर होना अच्छा है जो सक्रिय रूप से IO का उपयोग करता है।

3. रैम के विखंडन के कारण प्रदर्शन में गिरावट से बचने के लिए हम रैंडम एक्सेस मेमोरी (विशालकाय) के विशाल पृष्ठों का उपयोग करते हैं

यह पैकेज तब काम में आ सकता है जब हमें ऑपरेशन के दौरान भारी नुकसान के बारे में विभिन्न जानकारी की आवश्यकता होती है।

apt install hugepages

संपादित करें /etc/default/grub:

GRUB_CMDLINE_LINUX="default_hugepagesz=1GB hugepagesz=1G hugepages=64"

इस मामले में, सभी वर्चुअल मशीनों के लिए 64 जीबी मेमोरी को बड़े पैमाने पर आवंटित किया गया था। आपके मामले में कम / अधिक हो सकता है।

हम इन सेटिंग्स को GRUB पर लागू करते हैं ताकि अगली बार जब सिस्टम बूट हो, तो वे सक्रिय हो जाएं:

grub-mkconfig -o /boot/grub/grub.cfg

वर्चुअल मशीन कॉन्फ़िगरेशन का संपादन:

virsh edit vm_name

जोड़ें:

<memoryBacking>
  <hugepages/>
</memoryBacking>

4. IO की सेवा के लिए प्रत्येक वर्चुअल मशीन में एक समर्पित स्ट्रीम जोड़ें

आपको वह जोड़ना होगा जो बोल्ड में हाइलाइट किया गया हो। हम virshपिछले पैराग्राफ में उपयोग करते हैं ।

<iothreads>1</iothreads>

<disk type='block' device='disk'>
<driver name='qemu' type='raw' cache='none' io='threads' iothread='1'/>
<source dev='/dev/win/terminal'/>
<target dev='vda' bus='virtio'/>
<boot order='2'/>
<address type='pci' domain='0x0000' bus='0x04' slot='0x00' function='0x0'/>
</disk>

4.1. writeback

डिस्क पर आकस्मिक लेखन को गति देने के लिए, लेकिन डेटा हानि के बढ़ते जोखिम के साथ, आप cache=writebackपिछले पैराग्राफ का उपयोग कर सकते हैं । इसका उपयोग केवल तभी किया जा सकता है जब बिजली की गुणवत्ता और बैकअप में और बैकअप की उपस्थिति में बहुत विश्वास हो।

5. डिस्क सबसिस्टम की सेटिंग में पुण्य प्रबंधक

डिस्क बस: Virtio
स्टोरेज फॉर्मेट: रॉ
कैश मोड: राइटबैक
IO मोड: थ्रेड्स

5.1। कॉन्फ़िगरेशन फ़ाइल के माध्यम से डिस्क सबसिस्टम को कॉन्फ़िगर करना

Qemu 2.11 (जो वर्तमान में उबंटू द्वारा उपयोग किया जाता है) दो प्रकार के डिस्क वर्चुअल डिवाइसेस का समर्थन करता है: virtio-blk और virtio-scsi। जब पुण्य प्रबंधक में निर्दिष्ट किया जाता है Disk bus: VirtIO, तो इसका मतलब है कि गुण-दोष उपकरण का उपयोग करना।

सभी मामलों में, पुण्य-ब्लोक गति में बेहतर है, इस तथ्य के बावजूद कि परीक्षण किए गए qemu संस्करण में यह अभी भी TRIM का समर्थन नहीं करता था, virtio-scsi के विपरीत (यह पहले से ही 5.x संस्करण के बाद से इसका समर्थन करता है )।

डिस्क IO गति के दृष्टिकोण से, गुणात्मक-एससीआईआई केवल विदेशी मामलों में समझ में आता है, उदाहरण के लिए, जब आपको सैकड़ों डिस्क को एक आभासी मशीन से कनेक्ट करने की आवश्यकता होती है।

6. विंडोज की स्थापना के दौरान, VirtIO ड्राइवर स्थापित करें

अन्यथा, ओएस के लिए डिस्क उपलब्ध नहीं होगी। ऐसा करने के लिए, ड्राइवर छवि का उपयोग करें, जिसे हम वर्चुअल मशीन से पूर्व-कनेक्ट करते हैं।

7. सभी tweaks को लागू करने के बाद परिणाम

वास्तव में, ट्विक 4.1 का उपयोग नहीं किया गया था, क्योंकि मैं क्लाइंट से बिजली की आपूर्ति की विश्वसनीयता के बारे में सुनिश्चित नहीं था।

हाइपर- V 2 सी.पी.यू.	केवीएम 2 सीपीयू	केवीएम 4 सीपीयू

आपको यह समझने की आवश्यकता है कि इन परिणामों का एक निश्चित सम्मेलन है, क्योंकि हर बार जब आप क्रिस्टलडिस्कमार्क शुरू करते हैं, तो मान थोड़ा अलग होते हैं।

केवीएम आउट ऑफ द बॉक्स 2 सीपीयू	2 सीपीयू के बाद केवीएम

हम देखते हैं कि समान संख्या में कोर के साथ क्यूमू (केवीएम) में डिस्क सबसिस्टम के काम में तेजी लाने में संभव था। लेखन में औसतन 58% की तेजी आई और पढ़ने में 25% की तेजी आई।

प्रमुख सफलता के तत्व : qcow2 फ़ाइलों के बजाय LVM वॉल्यूम का उपयोग करना, अलग I / O, और विशालपृष्ठ।

देखी गई त्रुटियों को पीएम को निर्देशित करें। मैं इसके लिए कर्म बढ़ाता हूं।

PS vhost-user-blk और vhost-user-nvme

प्रयोगों के दौरान, Qemu 2.12 और संस्करण 3 भी संकलित किए गए थे। डिस्क के लिए vhost-user-blk विकल्प का परीक्षण किया गया था।

अंत में, इसने पुण्य-दोष से भी बदतर काम किया।

vhost-user-blk 4 सी.पी.यू.	virtio-blk 4 सी.पी.यू.

Vhost-user-nvme का उपयोग करने के लिए qemu को पैच करना आवश्यक था, यह विकल्प उत्पादन में सर्वर के स्वचालित अपडेट को जटिल करता है, इसलिए इसका परीक्षण नहीं किया गया था।

PPS SPDK

इंटेल ने इस फ्रेमवर्क को वर्चुअल मशीन में डिस्क सिस्टम के लिए उत्कृष्ट प्रदर्शन संकेतक प्राप्त करने के लिए डिज़ाइन किया है जो इसके प्रोसेसर पर चलना चाहिए।

Spdk को अच्छी तरह से काम करने के लिए, वे बहुत सारी चाल चलते हैं - वे इसके लिए अलग-अलग गुठली आवंटित करते हैं, एक सॉकेट में spdk और वर्चुअल मशीन गुठली रखते हैं। वर्चुअल मशीन को मेमोरी के एक सन्निहित भाग में लोड करें। यदि आप नियमित पुण्य-दोष के लिए इस तरह के उपाय लागू करते हैं, तो यह तेजी से भी काम करेगा।

SPDK 3 मोड में काम करने में सक्षम है: vhost-user-scsi, vhost-user-blk और vhost-user-nvme। दूसरा मोड केवल 2.12 से क्यूमू में उपलब्ध है, जो अब तक ubuntu में उपलब्ध नहीं है। Vhost-user-nvme मोड आम तौर पर मेगा-प्रयोगात्मक है - आपको इसके लिए qemu को पैच करना होगा। वर्तमान में, केवल scsi emulation काम करता है और यह धीमा है।

Vhost-user-scsi मोड के लिए एक और गंभीर सीमा है - spdk बूट करने योग्य नहीं हो सकता।

सुनिश्चित करें कि bootindex = 2 Qemu विकल्प vhost-user-scsi-pci डिवाइस को दिया गया है।

रिकॉर्ड तब सेट किए जाते हैं जब वे अपने ड्राइवर का उपयोग एसएसडी को कई उपकरणों पर साझा करने के लिए करते हैं और उन्हें vhost-user-nvme के रूप में अग्रेषित करते हैं। लोहे के छेदन का दृष्टिकोण हमें शोभा नहीं देता।

धारणा यह थी कि केवल तार्किक डिस्क के कार्यान्वयन के साथ एसपीडीके का उपयोग करना सामान्य था (जो मानक lvm से पूरी तरह से अलग है)। यह अपनी तस्वीरों और क्लोनिंग के साथ एक स्व-निर्मित बाइक है। टीमें सभी LVM से अलग हैं।

SPDK को कॉन्फ़िगर करने में सहायता, वर्चुअल मशीनों के समर्थन और पोर्टेबिलिटी, साथ ही साथ इंटेल प्रोसेसर के लिए लगाव, इसके उपयोग से दूर हो गया।

स्वीकृतियाँ

छवि के लिए धन्यवाद TripletConcept । एक अलग विंडो में इसे पूर्ण आकार में देखना बेहतर है।

कार्य सामग्री साझा करने की अनुमति के लिए -st_neon

आप नीचे कूपन के लिए RUVDS से SSD के साथ वर्चुअल मशीन ऑर्डर कर सकते हैं। देखी गई त्रुटियों को पीएम को निर्देशित करें। मैं इसके लिए कर्म बढ़ाता हूं।

लिनक्स पर Qemu KVM डिस्क सबसिस्टम को तेज करना