युपीडी। गोलंग पर REST API का परीक्षण करना। 120 000 [# / सेकंड] की सीमा नहीं है?

मैंने जावा बनाम जीओ की बहुत सकारात्मक तुलना नहीं देखी । बड़ी संख्या में उपयोगकर्ताओं द्वारा परीक्षण ।

मैंने यह जांचने का फैसला किया कि क्या गो के साथ सब कुछ इतना ही अच्छा है।
आगे देखते हुए, मैं कहता हूं कि जब स्मृति में कैशिंग और मक्खी पर JSON का निर्माण होता है, तो मैं 8 भौतिक कोर पर 120,000 [# / sec] तक पहुंचने में कामयाब रहा।

मूल GET अनुरोध स्क्रिप्ट:

• यदि डेटा मेमोरी कैश में पाया जाता है और यह मान्य है, तो हम संरचना से JSON बनाते हैं
• यदि कैश में कोई डेटा नहीं है, तो बोल्ट डीबी में उनके लिए देखें, अगर हम इसे ढूंढते हैं, तो समाप्त JSON पढ़ें
• यदि बोल्ट डीबी में कोई डेटा नहीं है, तो हम उन्हें डेटाबेस से अनुरोध करते हैं, उन्हें मेमोरी कैश में सहेजें
• इन-मेमोरी कैश का डेटा बफर चैनल में जमा होता है, लगभग 10,000 तत्वों के संचय के बाद, वे बोल्ट डीबी में एक सिंगल सेव द्वारा रीसेट हो जाते हैं
• यदि डेटाबेस में डेटा बदल गया है (अपडेट / सम्मिलित करें), तो एक अधिसूचना pg_notify के माध्यम से प्रेषित की जाती है और कैश में डेटा को अमान्य के रूप में चिह्नित किया जाता है, अगली बार जब इसे पढ़ा जाता है, तो इसे डेटाबेस से फिर से पढ़ा जाता है

कट परीक्षण के परिणाम के तहत, और परीक्षण बेंच GitHub के कोड

अपडेट 05/06/2020

ओरेकल क्लाउड में परीक्षण करने का मौका था ।

• स्टैंड को 3 सर्वरों - 8 कोर इंटेल (16 वर्चुअल कोर), 120 मेमोरी (जीबी), ओरेकल लिनक्स 7.7 पर इकट्ठा किया गया है
• NVMe — 6.4 TB NVMe SSD Storage min 250k IOPS (4k block)
• — 8.2 Network Bandwidth (Gbps)
• PostgreSQL — 16 000 [get/sec], oncurrency 1024, 60 [ms]. Get 360 000 000 . JSON 1800 .
• — 100 000 — 120 000 [get/sec], oncurrency 1024, 2 [ms].
• PostgreSQL — 10 000 [insert/sec].
• 2 4 8 Core, .

• JSON Bolt DB 2 HDD, SSD
• PostgreSQL HDD SDD 100
• Bolt DB SDD HDD 100
• JSON " " 10 PostgreSQL SDD
• — Failed requests Concurrency 16 384

,
— GitHub. 4000 , .

, JSON encoder/decode — JSON 2 .

HTTP Get handler JSON

BenchmarkHandler_DeptGetHandler-2         1000000          41277 ns/op     4845.26 MB/s        10941 B/op          259 allocs/op

HTTP Get handler francoispqt/gojay

BenchmarkHandler_DeptGetHandler-2         1000000          13300 ns/op     15036.97 MB/s         3265 B/op           11 allocs/op

:

• PostgreSQL 11 Windows 10, — 30 .
• — 10 000 000 , 100 000 000 .
• JSON 1500 , 1 10 .
• — core i7-3770 — 4 core (8 thread), 16 , HDD (WD 2.0TB WD2000fyyz), SSD (Intel 530 Series).
• ApacheBench, concurrency level 1 4096, 1 000 000 .
• Windows, .
• RAID . .

:

• GET PostgreSQL — HDD ( , JSON ).
• GET PostgreSQL — SSD ( , JSON ). SSD
• GET BOLT DB — HDD (JSON BOLT DB)
• GET BOLT DB — SSD (JSON BOLT DB)
• GET (JSON )

Concurrency Level , ApacheBench " ".

GET PostgreSQL — HDD ( )

GET PostgreSQL — SSD ( )

GET BOLT DB — HDD (JSON BOLT DB)

GET BOLT DB — SSD (JSON BOLT DB)

GET

Oracle

Oracle 3- :

• VM.DenseIO2.8 — 8 Core Intel (16 virtual core), 120 Memory (GB), Oracle Linux 7.7
• NVMe — 6.4 TB NVMe SSD Storage (1 drives) min 250k IOPS (4k block)
• — 8.2 Network Bandwidth (Gbps)
• — PostgreSQL 12. .
• ApacheBench:
  
  • concurrency level 4 16384
  • 10 000 1 000 000 .
  • 2 8 ApacheBench ( ab 1 )

GET

• JSON — 1800 . Dept 10 Emp.
• Dept — 33 000 000, Emp — 330 000 000 .

:

• GET PostgreSQL
• GET JSON BBolt ( 74 )
• GET ( map)

.

Requests per second Concurrency.

Time per req. [ms] Concurrency ( ).

99% percentile [ms] Concurrency.

99% percentile [ms] Concurrency ( ).

backend 100 000 [#/sec] BBolt (oncurrency 128).
1600% , 1464%.
/ NVMe 0,02 [ms] (500 000 IOPS).

Benchmark, HTTP Get handler 13300 ns

BenchmarkHandler_DeptGetHandler-2         1000000          13300 ns/op     15036.97 MB/s         3265 B/op           11 allocs/op

ApacheBench, mean — 0.088 ms.
0.088 — 0.013 = 0.055 ms.
—

:

• net/http.(*conn).serve — (61.85%)
• net/http.(*connReader).backgroundRead — (7.04%)
• runtime.gcBgMarkWorker — (18.30%)

HTTP server (61.85%):

• — net/http.(*conn).readRequest — (9.29%). .
• — net/http.(*response).finishRequest — (21.74%). .
• — net/http.(*ServeMux).ServeHTTP — (23.33%).

readRequest, finishRequest backgroundRead (39.66%), IO Windows — internalpoll.(ioSrv).ExecIO — (24.78%).

आइए देखें कि हमारा मुख्य नेट / http क्या है। (* ServeMux)। ServeHTTP हैंडलर ने किया:

• URL पार्सिंग और पैरामीटर प्रोसेसिंग - github.com/gorilla/mux.(*Route).Match - (2.29%)
• स्मृति में एक संरचना से JSON उत्पन्न करना - github.com/francoispqt/gojay.marshal - (9.92%)
• मेमोरी में कैश के साथ काम करना - (4.53%)