टीपीसी-सी बेंचमार्क विधि का उपयोग करके पायथन ओआरएम प्रदर्शन परीक्षण

जब पायथन में एप्लिकेशन लिखते हैं, तो ऑब्जेक्ट-रिलेशनल मैपर (ORM) अक्सर डेटाबेस के साथ काम करने के लिए उपयोग किया जाता है। ORM के उदाहरण SQLALchemy, PonyORM, और Django के साथ शामिल ऑब्जेक्ट-रिलेशनल मैपर हैं। ओआरएम का चयन करते समय, इसका प्रदर्शन एक महत्वपूर्ण भूमिका निभाता है।

हैबर, और इंटरनेट पर समग्र रूप से, एक प्रदर्शन परीक्षण नहीं करना संभव है। एक गुणवत्ता अजगर ORM बेंचमार्क के उदाहरण के रूप में, आप कछुआ ORM बेंचमार्क ( रिपॉजिटरी से लिंक ) का उपयोग कर सकते हैं । यह बेंचमार्क ग्यारह विभिन्न प्रकार के एसक्यूएल प्रश्नों के लिए छह ओआरएम की गति का विश्लेषण करता है।

सामान्य तौर पर, कछुआ बेंचमार्क विभिन्न ओआरएम का उपयोग करते समय क्वेरी निष्पादन की गति का मूल्यांकन करना संभव बनाता है, लेकिन मुझे इस परीक्षण दृष्टिकोण के साथ एक समस्या दिखाई देती है। ORM का उपयोग अक्सर वेब अनुप्रयोगों में किया जाता है जहां कई उपयोगकर्ता एक ही समय में विभिन्न अनुरोध भेज सकते हैं, लेकिन मुझे ऐसी शर्तों के तहत ORM के प्रदर्शन का मूल्यांकन करने वाला एक भी बेंचमार्क नहीं मिला है। इसके परिणामस्वरूप, मैंने अपना बेंचमार्क लिखने और इसके साथ पोनीमोर और एसक्यूएलचेमी की तुलना करने का फैसला किया। एक आधार के रूप में, मैंने टीपीसी-सी बेंचमार्क लिया।

1988 के बाद से कंपनी TPC , डेटा को संसाधित करने के उद्देश्य से परीक्षण विकसित करती है। वे लंबे समय से एक उद्योग मानक बन गए हैं और हार्डवेयर और सॉफ्टवेयर के विभिन्न नमूनों पर लगभग सभी विक्रेताओं के उपकरण द्वारा उपयोग किया जाता है। इन परीक्षणों की मुख्य विशेषता यह है कि उनका उद्देश्य वास्तविक लोगों के लिए यथासंभव निकट परिस्थितियों में भारी भार के तहत परीक्षण करना है।

टीपीसी-सी एक गोदाम नेटवर्क का अनुकरण करता है। इसमें विभिन्न प्रकार और जटिलता के एक साथ निष्पादित पांच के संयोजन शामिल हैं। डेटाबेस में बड़ी संख्या में रिकॉर्ड के साथ नौ टेबल होते हैं। टीपीसी-सी परीक्षण में प्रदर्शन प्रति मिनट लेनदेन में मापा जाता है।

मैंने इस कार्य के लिए अनुकूलित TPC-C परीक्षण पद्धति का उपयोग करके दो पायथन ओआरएम (एसक्यूएलकेमी और पोनीमोर) का परीक्षण करने का निर्णय लिया। परीक्षण का उद्देश्य लेनदेन प्रसंस्करण की गति का मूल्यांकन करना है जब कई आभासी उपयोगकर्ता एक ही समय में डेटाबेस तक पहुंचते हैं।

विवरण परीक्षण

डेटाबेस में आठ रिश्ते शामिल हैं:

1. गोदाम - गोदाम
2. जिला - गोदाम क्षेत्र
3. आदेश - आदेश
4. ऑर्डरलाइन - ऑर्डर लाइन (ऑर्डर आइटम)
5. स्टॉक - एक विशिष्ट गोदाम में एक निश्चित उत्पाद की मात्रा
6. मद - मद
7. ग्राहक ग्राहक
8. इतिहास - ग्राहक भुगतान इतिहास

, e . . , :

1. new_order ( ) — 45%
2. payment ( ) — 43%
3. order_status ( ) — 4%
4. delivery ( ) — 4%
5. stock_level ( ) — 4%

, TPC-C.

TPC-C , , ORM, . 64+ , .

:

1. ,
2. . : Stock 100 000 * W, W — , : 100 * W
3. 5 . Payment ID, . ID,
4. NewOrder. , , Order, NewOrder. , NewOrder. , , , , , . Order bool “is_o_delivered”, False, ,

, .

New Order

1. : id id
2. id
4. ()
6. . Item.
7. , .

Payment

1. : id id
2. id
5. .
6. 1
7. , ,
8. .

आदेश की स्थिति

1. ग्राहक आईडी द्वारा लेन-देन
2. क्लाइंट और उसका अंतिम ऑर्डर डेटाबेस से लिया जाता है
3. स्थिति ऑर्डर (वितरित या नहीं) और ऑर्डर आइटम से ली गई है

वितरण

1. वेयरहाउस आईडी द्वारा लेन-देन
2. गोदाम से आईडी और उसके सभी वर्गों द्वारा डेटाबेस का अनुरोध किया जाता है
3. प्रत्येक साइट के लिए, पूर्ववत आदेशों में से सबसे पुराना लिया जाता है। उनमें से प्रत्येक में, डिलीवरी की स्थिति ट्रू में बदल जाती है
4. डेटाबेस से उन उपयोगकर्ताओं को लिया जाता है जिनके ऑर्डर इस लेनदेन के दौरान वितरित किए गए थे, और उनमें से प्रत्येक वितरण काउंटर बढ़ाता है

शेयर के स्तर

1. वेयरहाउस आईडी द्वारा लेन-देन
2. गोदाम से आईडी द्वारा अनुरोध किया जाता है
3. इस गोदाम के अंतिम 20 आदेश डेटाबेस से मांगे गए हैं
4. डेटाबेस से इन आदेशों के प्रत्येक आइटम के लिए, गोदाम में शेष माल की मात्रा का अनुरोध किया जाता है

परीक्षण के परिणाम

1. SQLAlchemy रेखांकन को एक नीली रेखा द्वारा दर्शाया गया है।
2. PonyORM। रेखांकन को पीली रेखा द्वारा दर्शाया गया है।

10 2 , . multiprocessing.

—
—

PostgreSQL

, TPC-C. Pony .

:
Pony — 2543 /
SQLAlchemy — 1353.4 /

ORM . .

“New Order”

औसत गति:
टट्टू - 3349.2 ट्रांस / मिनट
SQLAlchemy - 1415.3 ट्रांस / मिनट

लेन-देन "भुगतान"

औसत गति:
टट्टू - 7175.3 ट्रांस / मिनट
SQLAlchemy - 4110.6 ट्रांस / मिनट

लेन-देन "आदेश स्थिति"

औसत गति:
टट्टू - 16645.6 ट्रांस / मिनट
SQLAlchemy - 4820.8 ट्रांस / मिनट

लेन-देन "वितरण"

औसत गति:
SQLAlchemy - 716.9 ट्रांस / मिनट
पोनी - 323.5 ट्रांस / मिनट

लेन-देन "स्टॉक स्तर"

औसत गति:
टट्टू - 677.3 ट्रांस / मिनट
SQLAlchemy - 167.9 ट्रांस / मिनट

परीक्षा परिणाम विश्लेषण

1. 4 5 PonyORM , , SQL PonyORM Python SQL, , SQLALchemy SQL . PonyORM:

   
   

   stocks = select(stock for stock in Stock
   if stock.warehouse == whouse
   and stock.item in items).order_by(Stock.id).for_update()

   
   

   SQLAlchemy:

   
   

   stocks = session.query(Stock).filter(
   Stock.warehouse == whouse, Stock.item.in_(items)).order_by(text("id")).with_for_update()

   
   

2. SQLAlchemy Delivery , UPDATE, , .

   
   

, SQLAlchemy:

INFO:sqlalchemy.engine.base.Engine:UPDATE order_line SET delivery_d=%(delivery_d)s WHERE order_line.id = %(order_line_id)s
INFO:sqlalchemy.engine.base.Engine:(
{'delivery_d': datetime.datetime(2020, 4, 6, 14, 33, 6, 922281), 'order_line_id': 316},
{'delivery_d': datetime.datetime(2020, 4, 6, 14, 33, 6, 922272), 'order_line_id': 317},
{'delivery_d': datetime.datetime(2020, 4, 6, 14, 33, 6, 922261))

Pony Update:

SELECT "id", "delivery_d", "item", "amount", "order"
FROM "orderline"
WHERE "order" = %(p1)s
{'p1':911}

UPDATE "orderline"
SET "delivery_d" = %(p1)s
WHERE "id" = %(p2)s
  AND "order" = %(p3)s
{'p1':datetime.datetime(2020, 4, 7, 17, 48, 58, 585932), 'p2':5047, 'p3':911}

UPDATE "orderline"
SET "delivery_d" = %(p1)s
WHERE "id" = %(p2)s
  AND "order" = %(p3)s
{'p1':datetime.datetime(2020, 4, 7, 17, 48, 58, 585990), 'p2':5048, 'p3':911}

भविष्य में, मैं इस तरह से अन्य ORM (Peewee, Django) का परीक्षण करने की योजना बना रहा हूं।

संदर्भ

परीक्षण कोड: SQLAlchemy रिपॉजिटरी से लिंक
: प्रलेखन , समुदाय
टट्टू: प्रलेखन , समुदाय