💧 🐿️ 👨🏿‍🎤 PyDERASN: जैसा कि मैंने बड़ा-डेटा समर्थन जोड़ा है 🕴🏾 🕡 👩🏿‍✈️

मैं PyDERASN के बारे में अंतिम लेख जारी रखता हूं - Python में मुफ्त ASN.1 DER / CER / BER कोडेक। पिछले एक साल में, इसके लेखन के बाद से, सभी छोटी चीजों के अलावा, छोटे सुधार और इससे भी अधिक कठोर डेटा सत्यापन (हालांकि इससे पहले कि यह मेरे लिए ज्ञात मुफ्त कोडेक्स का सबसे कठोर था), इस लाइब्रेरी में बड़ी मात्रा में डेटा के साथ काम करने के लिए कार्यक्षमता दिखाई दी है - नहीं रैम में रेंगना। मैं इस लेख में इसके बारे में बात करना चाहता हूं।

समस्याएं / कार्य

CRL:
, (CA) X.509 . , CRL (certificate revocation list). CRL CACert.org, 8.72 MiB, PyDERASN- Python 3.6 ( asn1crypto pyasn1 ). 416 . . , . .
CMS:
CMS (Cryptographic Message Syntax)
// . ,
SignedData , ,
, - EnvelopedData
.

CMS. , CMS detached data, - , . 10 GiB 20 GiB : 10 GiB . .

व्यवहार में ASN.1 वस्तुएं संसाधन गहन हो सकती हैं, बहुत सारे मेमोरी स्पेस ले सकती हैं? केवल के अनुक्रम / के सेट कई तरह की चीज (CACert.org के मामले में लाखों) युक्त, और के सभी प्रकार * तार (दूसरी समस्या पैदा करने वाले मामले में)। चूंकि प्रोग्रामर के गुणों में से एक आलस्य (लैरी वॉल के अनुसार) है, हम लाइब्रेरी कोड में न्यूनतम परिवर्तन के साथ संसाधन खपत की समस्याओं को दूर करने का प्रयास करेंगे।

* STRING की वस्तुएं, कोडेक के दृष्टिकोण से, लगभग एक दूसरे से भिन्न नहीं होती हैं और एक सामान्य वर्ग द्वारा लाइब्रेरी में लागू की जाती हैं। DER में OCTET STRING में एन्कोडिंग क्या है ?

return tag + len_encode(len(value)) + value

जाहिर है, इस समय वैल्यू रैम में नहीं होती है। यह एक बाइट्स जैसी वस्तु होना आवश्यक है जिससे आप लंबाई का पता लगा सकते हैं।

मेमोरीव्यू इन स्थितियों को संतुष्ट करता है। और फिर भी memoryview द्वारा किया जा सकता है mmap कि पहले से ही 20 छमाही में सीएमएस डेटाबेस प्रतियां के लिए GiB 10 GiB आवश्यकताओं स्मृति में कम हो जाता है किसी भी अस्थायी फ़ाइल पर: यह मूल्य के रूप में निर्दिष्ट करने के लिए पर्याप्त है OCTET STRING रों (या किसी अन्य * STRING रों) मेमोरीव्यू के समान । इसे बनाने के लिए, PyDERASN का एक सहायक कार्य है:

from pyderasn import file_mmaped
with open("dump.sql.zst", "rb") as fd:
    ... = OctetString(file_mmaped(fd))

यदि हम भारी मात्रा में डेटा को डीकोड करना चाहते हैं, तो मेमोरीव्यू को डिकोड के लिए भी इस्तेमाल किया जा सकता है:

from pyderasn import file_mmaped
with open("dump.sql.zst", "rb") as fd:
    obj = Schema.decode(file_mmaped(fd))

हम इस समस्या पर विचार करते हैं कि * STRING को आंशिक रूप से हल किया जाए। एक विशाल CRL बनाने के लिए वापस। इसकी संरचना क्या है?

CertificateList SEQUENCE
. tbsCertList: TBSCertList SEQUENCE
. . version: Version INTEGER v2 (01) OPTIONAL
. . signature: AlgorithmIdentifier SEQUENCE
. . issuer: Name CHOICE rdnSequence
. . thisUpdate: Time CHOICE utcTime
. . nextUpdate: Time CHOICE utcTime OPTIONAL
. . revokedCertificates: RevokedCertificates SEQUENCE OF OPTIONAL
. . . 0: RevokedCertificate SEQUENCE
. . . . userCertificate: CertificateSerialNumber INTEGER 17 (11)
. . . . revocationDate: Time CHOICE utcTime UTCTime 2003-04-01T14:25:08
. . . 1: RevokedCertificate SEQUENCE
. . . . userCertificate: CertificateSerialNumber INTEGER 20 (14)
. . . . revocationDate: Time CHOICE utcTime UTCTime 2002-10-01T02:18:01

                                 [...]

. . . 415753: RevokedCertificate SEQUENCE
. . . . userCertificate: CertificateSerialNumber INTEGER 1341859 (14:79:A3)
. . . . revocationDate: Time CHOICE utcTime UTCTime 2020-02-08T06:51:56
. . . 415754: RevokedCertificate SEQUENCE
. . . . userCertificate: CertificateSerialNumber INTEGER 1341860 (14:79:A4)
. . . . revocationDate: Time CHOICE utcTime UTCTime 2020-02-08T06:53:01
. . . 415755: RevokedCertificate SEQUENCE
. . . . userCertificate: CertificateSerialNumber INTEGER 1341861 (14:79:A5)
. . . . revocationDate: Time CHOICE utcTime UTCTime 2020-02-08T07:25:06
. signatureAlgorithm: AlgorithmIdentifier SEQUENCE
. signatureValue: BIT STRING 4096 bits

छोटे RevchedCertificate संरचनाओं की एक लंबी सूची । इस मामले में, केवल प्रमाण पत्र का सीरियल नंबर और इसके निरसन का समय होता है। इसका डीईआर कोडिंग क्या है?

value = b"".join(revCert.encode() for revCert in revCerts)
return tag + len_encode(len(value)) + value

इस सूची के प्रत्येक अलग-अलग तत्व के डीईआर अभ्यावेदन का सिर्फ निष्कर्ष। क्या हमें केवल डीईआर प्रतिनिधित्व के 15 बाइट्स में क्रमबद्ध होने के दौरान इन सभी सैकड़ों हजारों वस्तुओं को पहले से ही करने की आवश्यकता है? बेशक नहीं। इसलिए, हम एक पुनरावृत्ति / जनरेटर के साथ वस्तुओं की सूची को बदलते हैं। सबसे अधिक संभावना है, CRL का निर्माण DBMS के डेटा पर आधारित होगा:

def revCertsGenerator(...):
    for row in db.cursor:
        yield RevokedCertificate((
            ("userCertificate", CertificateSerialNumber(row.serial)),
            ("revocationDate", Time(("utcTime", UTCTime(row.revdate)))),
        ))

crl["tbsCertList"]["revokedCertificates"] = revCertsGenerator()

अब इस तरह की CRL बनाते समय हम मेमोरी का उपभोग नहीं करते हैं - हमें केवल इसके डीईआर प्रतिनिधित्व के साथ काम करने के लिए एक जगह की आवश्यकता है: इस मामले में, हम दसियों मेगाबाइट्स के बारे में बात कर रहे हैं (जैसा कि RevCCertificate वस्तुओं की आधी-गीगाबाइट सूची के विपरीत है)। लेकिन वहाँ व्यवहार में अंतर होता है: के अनुक्रम / के सेट आकार की जांच एक मूल्य बताए के पल में होता है के बाद ही इटरेटर समाप्त हो रहा है, और नहीं।

DER स्ट्रीमिंग कोडिंग

यह असंभव है। आखिरकार, यह डीईआर है - सभी टीएलवी (टैग + लंबाई + मूल्य) तत्वों की लंबाई पहले से ज्ञात होनी चाहिए!

लेकिन मैं इतना चाहूंगा! आखिरकार, हमें अभी भी डेटाबेस प्रतिलिपि के डीईआर प्रतिनिधित्व को संग्रहीत करने के लिए 10 जीईबी मेमोरी की आवश्यकता है: कच्चा = सेमी.एनकोड () ! आदर्श रूप से, मैं एक निश्चित लेखक को बताना चाहता हूं जहां धारावाहिक रूप से प्रतिनिधित्व लिखा जाएगा। हो सकता है कि फ़ाइल डिस्क्रिप्टर को स्थानांतरित करें, लंबाई के स्थान पर फ़ाइल में प्लेसहोल्डर छोड़ दें और फिर उन्हें खोज कर भरें? दुर्भाग्य से, लंबाई की लंबाई (क्रमशः और प्लेसहोल्डर) भी पहले से ज्ञात नहीं है।

PyDERASN को दो-पास डीईआर एन्कोडिंग की संभावना मिली है। पहले पास में, वस्तुओं की लंबाई के बारे में ज्ञान एकत्र किया जाता है, जिससे एक अस्थायी स्थिति बनती है। दूसरा स्ट्रीमिंग हैएक निश्चित लेखक में डीईआर एन्कोडिंग , लंबाई के ज्ञान के कारण पहले से ही संभव है। इस का कार्यान्वयन सरल निकला, बस ASN.1 आधार प्रकारों में से प्रत्येक में दो-पास विधियों का एक सा जोड़ दिया गया। चूंकि वस्तुओं का ट्रावेलर कड़ाई से निर्धारित होता है (डी - प्रतिष्ठित!), फिर, आवश्यक लंबाई को संग्रहीत करने के लिए, एक सरल सूची बनाए रखी जाती है, जिसके रूप में, वस्तुओं के पूरे पेड़ का पता लगाया जाता है, लंबाई मान जोड़े जाते हैं। कुछ प्रकारों के लिए, लंबाई तय की गई है। कुछ के लिए, यह केवल एक उच्च कंटेनर ( SEQUENCE / SET , SEQUENCE OF / SET OF , EXPLICIT TAG ) को रिपोर्ट करने के लिए आवश्यक है । उदाहरण के लिए, दो निरस्त प्रमाणपत्रों की सूची के लिए लंबाई की स्थिति इस प्रकार है:

revCert = RevokedCertificate((
    ("userCertificate", CertificateSerialNumber(123)),
    ("revocationDate", Time(("utcTime", UTCTime(datetime.utcnow())))),
))
revs = RevokedCertificates([revCert, revCert])

(42, [40, 18, 18])

इस मामले में, हमें प्रत्येक रीवॉक्ड सर्टिफिकेट और संपूर्ण सूची के लिए केवल मान की लंबाई जानने की आवश्यकता है । राज्य में पूर्णांक और एन्कोड किए गए समय की लंबाई (डीईआर में यह एक निश्चित लंबाई है) को अनावश्यक के रूप में संग्रहीत नहीं किया जाता है। नतीजतन, हमारे CACert.org CRL के लिए, इस तरह की सूची में 3.5 MiB से थोड़ा अधिक समय लगता है, और विशाल सीएमएस के लिए, जिसमें लगभग सभी वजन डेटाबेस की एक प्रति के साथ एक एकल क्षेत्र पर पड़ता है, इसमें लगभग 0.5 KiB लगता है।

दो कॉल द्वारा दो-पास एन्कोडिंग किया जाता है:

fulllen, state = obj.encode1st()
with open("result", "wb") as fd:
    obj.encode2nd(fd.write, iter(state))

पहला पास डेटा की पूरी लंबाई की भी रिपोर्ट करता है, जिसका उपयोग मुक्त स्थान की जांच करने या इसे कुछ पॉज़िक्स_फ्लोकेट कॉल द्वारा आवंटित करने के लिए किया जा सकता है ।

हेल्पर फ़ंक्शन एन्कोड 2पास (obj) का उपयोग करके , आप मेमोरी में दो-पास एन्कोडिंग प्रदर्शन कर सकते हैं। किस लिए? यह मेमोरी खपत में काफी अधिक किफायती हो सकता है, क्योंकि यह CACert.org CRL के मामले में, 416k + छोटी बाइनरी लाइनों को b "" से जोड़कर स्टोर नहीं करेगा । हालांकि, इसके लिए अधिक प्रोसेसर समय की आवश्यकता होती है, क्योंकि सभी वस्तुओं को दो बार चलना होगा।

अब हम डीईआर में मनमाने ढंग से बड़े CMS को लगा सकते हैं, व्यावहारिक रूप से बिना मेमोरी का उपभोग किए। लेकिन सीआरएल के मामले में, हमने सर्टिफिकेट निरस्तीकरण जनरेटर का उपयोग किया, जो पहले पास के अंत के बाद बाहर निकल जाएगा। क्या करें? बस इसे फिर से पुनर्निमित करें!

_, state = crl.encode1st()
crl["tbsCertList"]["revokedCertificates"] = revCertsGenerator()
crl.encode2nd(writer, iter(state))

बेशक, हम यह सुनिश्चित करने के लिए बाध्य हैं कि पुनरावृत्त का परिणाम बिल्कुल वैसा ही होगा, अन्यथा हमें एक टूटा हुआ डीईआर मिलेगा। यदि डेटा DBMS कर्सर से लिया गया है, तो REPEATABLE READ लेन-देन अलगाव स्तर और छँटाई के बारे में मत भूलना ।

वास्तविक स्ट्रीम एन्कोडिंग: CER

जैसा कि आप जानते हैं, डीईआर (प्रतिष्ठित एन्कोडिंग नियम) बीईआर (बुनियादी एन्कोडिंग नियमों) का एक सबसेट है जो एक और केवल एक ही तरीके से एन्कोडिंग नियमों को सख्ती से नियंत्रित करता है। यह इसे क्रिप्टोग्राफिक कार्यों में उपयोग करने की अनुमति देता है। लेकिन बीईआर: सीईआर (कैनोनिकल एन्कोडिंग नियम) का एक और उल्लेखनीय उपसमुच्चय है। डीईआर की तरह, इसमें डेटा का केवल एक संभावित प्रतिनिधित्व है। सीईआर कई विवरणों में डीईआर से अलग है, लेकिन वे आपको डेटा का सही ढंग से स्ट्रीमिंग एन्कोडिंग करने की अनुमति देते हैं। दुर्भाग्य से, सीईआर डीईआर के रूप में लोकप्रिय नहीं हुआ।

इतने ध्यान देने योग्य अंतर (जैसे SET में टैग को छाँटना) को स्वीकार करते हुए, CER के DER से दो मूलभूत अंतर हैं:

(constructed, ) indefinite (LENINDEF PyDERASN). , SEQUENCE/SET, SEQUENCE OF/SET OF, EXPLICIT TAG- :
```
TAG_CONSTRUCTED || LEN(VALUE) || VALUE
```
LENINDEF (0x80) EOC ( , ) :
```
TAG_CONSTRUCTED || 80 || VALUE || 00 00
```

*STRING-, 1000-, chunk- 1000-. , , DER. , 512 DER:

TAG_PRIMITIVE || LEN(512) || 512B

2048 :

TAG_CONSTRUCTED || 80 ||
    TAG_PRIMITIVE || LEN(1000) || 1000B ||
    TAG_PRIMITIVE || LEN(1000) || 1000B ||
    TAG_PRIMITIVE || LEN(48) || 48B || 00 00

यह सब (प्लस कुछ छोटी चीजें) किसी भी ऑब्जेक्ट को एनकोड करने के लिए स्ट्रीमिंग (1000 बाइट्स के साथ बफर के लिए एक बफर) की अनुमति देता है। इसी तरह, आप mmap और पुनरावृत्तियों का उपयोग कर सकते हैं । CER एन्कोडिंग बस .encode_cer (लेखक) विधि को कॉल करके किया जाता है । दुर्भाग्य से, PyDERASN डिकोडिंग के दौरान अभी तक CER की वैधता को सत्यापित करने में सक्षम नहीं है, इसलिए हमें डेटा को BER के रूप में डीकोड करने के लिए मजबूर किया जाता है।

CMS मानक, वैसे, BER (दोनों DER और CER, स्वचालित, BER हैं) में कोडिंग की आवश्यकता होती है। इसलिए, हम डेटाबेस की अपनी विशाल प्रति को दो-पास डीईआर के बिना सीईआर सीएमएस में संलग्न कर सकते हैं। हालाँकि , साइनडैटा के लिए डीईआर में एनकोडेड एट्रिब्यूटेड एलीमेंट्स तत्व होना आवश्यक है , जैसा कि X.509 सर्टिफिकेटप्रमाण पत्र। PyDERASN आपको दिए गए संरचनाओं में DER के उपयोग को केवल der_lied = True विशेषता जोड़कर बाध्य करने की अनुमति देता है ।

स्ट्रीम डिकोडिंग: ईवजन मोड

हमने सांकेतिक शब्दों में बदलना सीख लिया है, लेकिन केवल mmap डिकोडिंग में मदद करेगा । एक "वास्तविक" स्ट्रीम डिकोडर, जिसके पास "मुझे अधिक डेटा दें", "यहां आप हैं" के रूप में knobs को नियंत्रित करता है, किसी प्रकार का राज्य - PyDERASN के एक कट्टरपंथी परिवर्तन की आवश्यकता होगी। और, व्यक्तिगत रूप से, मैं यह नहीं देखता कि यह वर्तमान समाधान से अधिक सुविधाजनक होगा।

और वर्तमान समाधान अत्यंत सरल है। डिकोडिंग की प्रक्रिया में, हमारे हाथ में हमारे हाथों में विभिन्न डिकोडेड आदिम वस्तुएं होती हैं, उनमें से बेहतर घटकों (निर्मित), जिनमें से अन्य घटक, आदि को इकट्ठा किया जाता है ... हम वस्तुओं को संचित करने के लिए संचित करते हैं और, बहुत ऊपर तक पहुंचते हैं हमें एक बड़ी वस्तु दो। सभी प्रकार के डिकोड किए गए "तुरंत बाहर" क्यों नहींवस्तुओं, जैसे ही वे हमारे हाथों पर दिखाई देते हैं? यही है, एक अंतिम वस्तु नहीं लौटना, लेकिन एक जनरेटर जो कई डिकोड किए गए ऑब्जेक्ट उत्पन्न करता है। वास्तव में, PyDERASN में अब सभी डिकोडिंग विधियाँ ऐसे "ईवेंट" (ईवेंट जनरेशन, इवजन) के जनक बन गए हैं।

यदि हम अपने विशाल CACert.org CRL के ईवजन-डिकोडिंग मोड को सक्षम करते हैं, तो हम निम्नलिखित चित्र देखेंगे:

$ python -m pyderasn --schema tests.test_crl:CertificateList --evgen revoke.crl
[][T,L,  V len]
     10   [1,1,      1]   . . version: Version INTEGER v2 (01) OPTIONAL
     15   [1,1,      9]   . . . algorithm: OBJECT IDENTIFIER 1.2.840.113549.1.1.13
     26   [0,0,      2]   . . . parameters: [UNIV 5] ANY OPTIONAL
     13   [1,1,     13]   . . signature: AlgorithmIdentifier SEQUENCE
     34   [1,1,      3]   . . . . . . type: AttributeType OBJECT IDENTIFIER 2.5.4.10
     39   [0,0,      9]   . . . . . . value: [UNIV 19] AttributeValue ANY
     32   [1,1,     14]   . . . . . 0: AttributeTypeAndValue SEQUENCE
     30   [1,1,     16]   . . . . 0: RelativeDistinguishedName SET OF

                                 [...]

    188   [1,1,      1]   . . . . userCertificate: CertificateSerialNumber INTEGER 17 (11)
    191   [1,1,     13]   . . . . . utcTime: UTCTime UTCTime 2003-04-01T14:25:08
    191   [0,0,     15]   . . . . revocationDate: Time CHOICE utcTime
    191   [1,1,     13]   . . . . . utcTime: UTCTime UTCTime 2003-04-01T14:25:08
    186   [1,1,     18]   . . . 0: RevokedCertificate SEQUENCE
    208   [1,1,      1]   . . . . userCertificate: CertificateSerialNumber INTEGER 20 (14)
    211   [1,1,     13]   . . . . . utcTime: UTCTime UTCTime 2002-10-01T02:18:01
    211   [0,0,     15]   . . . . revocationDate: Time CHOICE utcTime
    206   [1,1,     18]   . . . 1: RevokedCertificate SEQUENCE

                                 [...]

9144992   [0,0,     15]   . . . . revocationDate: Time CHOICE utcTime
9144985   [1,1,     20]   . . . 415755: RevokedCertificate SEQUENCE
    181   [1,4,9144821]   . . revokedCertificates: RevokedCertificates SEQUENCE OF OPTIONAL
      5   [1,4,9144997]   . tbsCertList: TBSCertList SEQUENCE
9145009   [1,1,      9]   . . algorithm: OBJECT IDENTIFIER 1.2.840.113549.1.1.13
9145020   [0,0,      2]   . . parameters: [UNIV 5] ANY OPTIONAL
9145007   [1,1,     13]   . signatureAlgorithm: AlgorithmIdentifier SEQUENCE
9145022   [1,3,    513]   . signatureValue: BIT STRING 4096 bits
      0   [1,4,9145534]  CertificateList SEQUENCE

डिकोडिंग की शुरुआत में, हमने सर्टिफिकेट SEQUENCE टैग, डेटा की लंबाई देखी , लेकिन वस्तु अभी तक ज्ञात नहीं है कि क्या इसे अंत तक डिकोड किया जा सकता है। अभी तक हम केवल इस पर काम करने की प्रक्रिया में हैं।
SEQUENCE: version, INTEGER. . , . ( 10)
signature, SEQUENCE- : algorithm parameters. OBJECT IDENTIFIER ANY . ( 15, 26)
, , signature SEQUENCE , , : . ( 13)
, RevokedCertificate . ( 186, 206, ..)
tbsCertList . ( 5)
CertificateList, SEQUENCE, , , . ( 0)

बेशक, सभी * STRING और सूचियाँ ( * OF ) वास्तविक अर्थ नहीं रखती हैं। DER के मामले में, .offset और .vlen को जानने के लिए , आप एक फ़ाइल (मेमोरी का एक टुकड़ा?) से एक पंक्ति का मूल्य पढ़ सकते हैं। सभी घटनाओं को प्राप्त करते समय अनुक्रम वस्तुओं को एकत्र किया जा सकता है और आपको आवश्यकतानुसार एकत्र किया जा सकता है।

डिकोडेड पथ और evgen_mode_upto

कैसे समझें कि किस तरह की वस्तु, किस तरह का INTEGER हमारे पास है? प्रत्येक ऑब्जेक्ट का अपना तथाकथित डिकोड पथ होता है, जो संरचना में विशिष्ट वस्तु की विशिष्ट पहचान करता है। उदाहरण के लिए, CACert.org CRL डिकोड पथ घटनाओं के लिए:

tbsCertList:version
tbsCertList:signature:algorithm
tbsCertList:signature:parameters
tbsCertList:signature
tbsCertList:issuer:rdnSequence:0:0:type
                                 [...]
tbsCertList:issuer:rdnSequence
tbsCertList:issuer
                                 [...]
tbsCertList:revokedCertificates:0:userCertificate
tbsCertList:revokedCertificates:0:revocationDate:utcTime
tbsCertList:revokedCertificates:0:revocationDate
tbsCertList:revokedCertificates:0
tbsCertList:revokedCertificates:1:userCertificate
tbsCertList:revokedCertificates:1:revocationDate:utcTime
tbsCertList:revokedCertificates:1:revocationDate
tbsCertList:revokedCertificates:1
                                 [...]
tbsCertList:revokedCertificates:415755:userCertificate
tbsCertList:revokedCertificates:415755:revocationDate:utcTime
tbsCertList:revokedCertificates:415755:revocationDate
tbsCertList:revokedCertificates:415755
tbsCertList:revokedCertificates
tbsCertList
signatureAlgorithm:algorithm
signatureAlgorithm:parameters
signatureAlgorithm
signatureValue

इस तरह से हम इस CRL से प्रमाणपत्र निरस्तीकरण क्रमांक की सूची को प्रिंट कर सकते हैं:

raw = file_mmaped(open("....crl", "rb"))
for decode_path, obj, tail in CertificateList().decode_evgen(raw):
    if (len(decode_path) == 5) and (decode_path[-1] == "userCertificate"):
        print(int(obj))

RevokedCertificate संरचना में विभिन्न एक्सटेंशन सहित बहुत सारी जानकारी हो सकती है। विशुद्ध रूप से तकनीकी रूप से, हम Evgen मोड में रद्द कर दिया प्रमाण पत्र के बारे में सभी डेटा मिलता है, लेकिन योग के एक से संबंधित घटनाओं revokedCertificates तत्व है बहुत सुविधाजनक नहीं। चूंकि प्रत्येक अंतिम RevokedCertificate , व्यवहार में, अधिक स्थान नहीं लेगा, इसलिए यह बहुत अच्छा होगा कि सभी वस्तुएं, सभी वस्तुएं घटनाओं में इतनी अच्छी तरह से "क्रमबद्ध" न हों। PyDERASN सूची को डिकोडिंग पथ निर्दिष्ट करने की अनुमति देता है, जिस पर evgen मोड अक्षम है। तो हम डिकोड पथ ( "tbsCertList", "निरस्त प्रमाणपत्र") सूची में से कोई भी तत्व सेट कर सकते हैं , जिस पर हम पूर्ण RevokedCertificate वस्तु प्राप्त करना चाहते हैं :

for decode_path, obj, _ in CertificateList().decode_evgen(raw, ctx={
    "evgen_mode_upto": (
        (("tbsCertList", "revokedCertificates", any), True),
    ),
}):
    if (len(decode_path) == 3) and (decode_path[1] == "revokedCertificates"):
        print(int(obj["userCertificate"]))

सकल तार: agg_octet_string

अब हमें किसी भी आकार की वस्तुओं को डिकोड करने में कोई समस्या नहीं है। डेटाबेस की एक प्रति के साथ एक डीईआर-एन्कोडेड सीएमएस को डिकोड करने में कोई समस्या नहीं है: हम एक घटना की प्रतीक्षा कर रहे हैं, जिसमें डिकोड मार्ग पर सीएमएस में हस्ताक्षरित / एन्क्रिप्टेड डेटा की ओर इशारा करते हैं और ऑफसेट + वीएलएन का उपयोग करके फ़ाइल से डेटा को संसाधित करते हैं। लेकिन क्या होगा यदि CMS CER प्रारूप में था? तब ऑफसेट + vlen मदद नहीं करेगा, क्योंकि हमारे सभी 10 GiBs 1000 बाइट्स के टुकड़ों में विभाजित हैं, जिसके बीच DER हैडर द्वारा। लेकिन क्या होगा अगर हमारे पास एक BER है जिसमें * STRINGs का घोंसला कुछ भी हो सकता है?

SOME STRING[CONSTRUCTED]
    OCTET STRING[CONSTRUCTED]
        OCTET STRING[PRIMITIVE]
            DATA CHUNK
        OCTET STRING[PRIMITIVE]
            DATA CHUNK
        OCTET STRING[PRIMITIVE]
            DATA CHUNK
    OCTET STRING[PRIMITIVE]
        DATA CHUNK
    OCTET STRING[CONSTRUCTED]
        OCTET STRING[PRIMITIVE]
            DATA CHUNK
        OCTET STRING[PRIMITIVE]
            DATA CHUNK
    OCTET STRING[CONSTRUCTED]
        OCTET STRING[CONSTRUCTED]
            OCTET STRING[PRIMITIVE]
                DATA CHUNK

जब इवाजेन मोड में डिकोडिंग होती है, तो प्रत्येक टुकड़े के लिए हमें संबंधित घटना मिलती है और यह हमारे लिए केवल आदिम (निर्माण नहीं) * एकत्रित करने के लिए पर्याप्त है , जहां ईवेंट + ऑफसेट में डेटा के वास्तविक टुकड़े होते हैं। PyDERASN का एक सुविधाजनक सहायक कार्य है agg_octet_string जो इसे निष्पादित करता है। यह उसके लिए एक ईवेंट जनरेटर पास करने के लिए पर्याप्त है, डिकोड पथ "नीचे" जिसमें से एक स्ट्रिंग, बाइनरी डेटा (या मेमोरीव्यू ) और लेखक को एकत्र करना आवश्यक है - एक फ़ंक्शन जिसे प्राप्त डेटा के प्रत्येक टुकड़े के साथ कहा जाता है। हम SHA512 हैश की गणना करना चाहते हैं और उसी समय encapContentInfo.eContent CMS की सामग्री को बचा सकते हैं ? सामग्री फ़ील्ड का स्थान ढूंढें (जिसमें SignedData स्थित होगा), और फिर इसकी CER सामग्री को डीकोड करें, साथ ही साथ FS और हैशिंग को लिखें:

fdIn = open("data.p7m", "rb")
raw = file_mmaped(fdIn)
for decode_path, obj, _ in ContentInfo().decode_evgen(raw, ctx={"bered": True}):
    if decode_path == ("content",):
        content = obj
        break
hasher_state = sha512()
fdOut = open("dump.sql.zst", "wb")
def hash_n_save(data):
    write_full(fdOut, data)
    hasher_state.update(data)
    return len(data)
evgens = SignedData().decode_evgen(
    raw[content.offset:],
    offset=content.offset,
    ctx={"bered": True},
)
agg_octet_string(evgens, ("encapContentInfo", "eContent"), raw, hash_n_save)

यहां, एक और write_full यूटिलिटी का उपयोग किया जाता है , जो तब तक लेखक को कॉल करता है जब तक कि सभी डेटा नहीं लिखा जाता है, क्योंकि सामान्य तौर पर, किसी फाइल में लिखते समय, ओएस को सभी स्थानांतरित डेटा को संसाधित करने की आवश्यकता नहीं होती है और आपको पूरी तरह से लिखे जाने तक प्रक्रिया को जारी रखने की आवश्यकता होती है।

SET OF के बारे में स्नेही जोड़े

विशुद्ध रूप से तकनीकी रूप से, SET OF को DER और CER एन्कोडिंग में मक्खी पर एनकोड नहीं किया जा सकता है, क्योंकि सभी तत्वों के एन्कोडेड रिप्लेसमेंट को छांटना चाहिए। यहां न तो सीईआर और न ही दो-पास डीईआर मदद करेगा। इसलिए आधुनिक ASN.1 मानक दोनों SET (DER में समान छंटाई की आवश्यकता) और SET के उपयोग की अनुशंसा नहीं करता है ।

और लेख की शुरुआत में यह तस्वीर क्या है?

यह PyDERASN में था कि एक इंटरैक्टिव, सरल ASN.1 ब्राउज़र दिखाई दिया , जिसने मुझे व्यक्तिगत रूप से जटिल संरचनाओं के लिए हैंडलर लिखने में कई बार मदद की। आपको प्रत्येक डिकोडेड संरचना के चारों ओर चलने की अनुमति देता है, प्रत्येक वस्तु के बारे में पूर्ण विवरण दिखाते हुए, बाइनरी डेटा में इसका स्थान, डिकोड पथ। इसके अलावा, किसी भी आइटम को एक अलग फ़ाइल में बचाया जा सकता है, जैसे कि प्रमाण पत्र या सीएमएस सीएमएस में शामिल।

सर्गेई मतवेव , सिफरपंक , पायथन / गो-डेवलपर , एफएसयूई के मुख्य विशेषज्ञ "वैज्ञानिक और तकनीकी केंद्र" एटलस "।

PyDERASN: जैसा कि मैंने बड़ा-डेटा समर्थन जोड़ा है