NoSQL के लिए एक डेटा मॉडल डिजाइन करने की सुविधाएँ

परिचय

"आपको जगह में बने रहने के लिए
उतनी ही तेजी से दौड़ने की जरूरत है, लेकिन कहीं जाने के लिए, आपको कम से कम दो बार तेज चलना चाहिए!"
(c) एलिस इन वंडरलैंड

कुछ समय पहले मुझे डेटा मॉडल तैयार करने के विषय पर हमारी कंपनी के विश्लेषकों को एक व्याख्यान देने के लिए कहा गया था , क्योंकि जब हम लंबे समय तक (कभी-कभी कई वर्षों के लिए) परियोजनाओं पर बैठते हैं, तो हम यह देखते हैं कि आईटी दुनिया के आसपास क्या हो रहा है। हमारी कंपनी में (यह बस ऐसा ही हुआ), NoSQL डेटाबेस का उपयोग कई परियोजनाओं पर नहीं किया जाता है (कम से कम अभी के लिए), इसलिए अपने व्याख्यान में मैंने अलग से HBase उदाहरण का उपयोग करते हुए उन पर कुछ ध्यान दिया और उन लोगों पर सामग्री की प्रस्तुति को उन्मुख करने का प्रयास किया जो कभी नहीं थे काम किया। विशेष रूप से, मैंने अमांदीप खुराना द्वारा "एचबी एसे स्कीमा डिजाइन का परिचय" लेख में कई वर्षों पहले पढ़े उदाहरण से डेटा मॉडल डिज़ाइन की कुछ विशेषताओं का वर्णन किया था। उदाहरणों का विश्लेषण करते हुए, मैंने दर्शकों को मुख्य विचारों को बेहतर ढंग से बताने के लिए उसी समस्या को हल करने के लिए आपस में कई विकल्पों की तुलना की।

हाल ही में, "कुछ नहीं करना है", मैंने सोचा (संगरोध मोड में लंबे समय तक मई सप्ताहांत विशेष रूप से इसके लिए उपयुक्त हैं), कितना सैद्धांतिक गणना अभ्यास के अनुरूप होगा? दरअसल, इस लेख का विचार पैदा हुआ था। एक डेवलपर जो कई दिनों से NoSQL के साथ काम कर रहा है, वह इससे कुछ भी नया नहीं सीख सकता है (और इसलिए तुरंत आधा सौ खर्च कर सकता है)। लेकिन विश्लेषकों के लिए जिन्होंने अभी तक NoSQL के साथ मिलकर काम नहीं किया है, मुझे लगता है कि यह HBase के लिए डेटा मॉडल की डिज़ाइन सुविधाओं की एक बुनियादी समझ प्राप्त करने के लिए उपयोगी होगा।

एक उदाहरण पार्स करना

, NoSQL , «» «». . NoSQL . NoSQL , , . , ( ). , «» , . NoSQL . , , .

«» , :

. , ( , Linkedin). :

• , ( )
• / / ( )

, . (, , , , : , .., «»), /. :

ID

HBase , :

• , full table scan,
  
  • , SQL- – ; , , Impala SQL- Join’ HBase, …

ID . « ID ?» . «» ( 1 (default), ):

. : 1, 2, … — , ID . , . (1, 2 3), – (1 2) – HBase, :

• ( -> , -> )

:

• : , , , RowKey = «» , «» . , « » False;
• : : RowKey = «», . - , , ID .
• : :
  
  • RowKey = «» , , ;
  • , , «» , «» .

, , « », , -. n. (n-1). (-1) , - .

• : . (n)
• : : , => (n)
• : :
  
  • – => (n)
  • «» . « », (n-1) . , «-» - – n. ( , (2)) (n) . : «» , , :
    

, O(n).
, , , , - . «count», . - , «count». , «count» . .. 2 (count):

:

• : « ?» => (n)
• : : , , «count» .. . (1)
• : : , - «» . , , , => O(n)
• , «count», , -

2 , « ». «» 3 (col).
« »: ! – , 1 (, , , «// ..»). «», NoSQL-, HBase :

. , :

• : , , , «»: , True, – False => O(1)
• : : : «ID » => O(1)
• : : «ID » => O(1)

, , , , . , …

- . ? userID.friendID? ( 4(row)):

, , (1). 3 - .

«». , 4 , , , ( , HBase ). , . , userID friendID, , , . ( 5(hash)):

, , , 4 – (1).
, :

, 3-5 . , , , «», « ». 3. , , .

– . « » , (n). , , , « », «-». «-» :

• ,

, , :

• . n. " " – . , « » HBase . – «-»
• . «», , . = - , «», – «». , «» «» ( 1 2). .
• . . – ( «» , ). .

5 , , . n , , 5 .
n= 5. «» ID-:

• –
• –
• –

{0: [1], 1: [4, 5, 3, 2, 1], 2: [1, 2], 3: [2, 4, 1, 5, 3], 4: [2, 1]} #  15 

{0: [1, 10800], 1: [5, 10800, 2, 10801, 4, 10802], 2: [1, 10800], 3: [3, 10800, 1, 10801, 5, 10802], 4: [2, 10800]} #  18  

{0: [1], 1: [1, 3, 2, 5, 4], 2: [1, 2], 3: [4, 1, 2, 3, 5], 4: [1, 2]} #  15 

, ID, 10 000 – , False. , «» .

Windows 10, - HBase, – Python Jupyter Notebook. 2 CPU 2 . , « », «» Python. HBase happybase, (MD5) 5 — hashlib

n = 10, 30, …. 170 – ( n) - ( 15 ).

, . . n, « » , «» , ( ).

– , . – .

3-5 «-», .
2 , , 2 3-5. , – - / HBase 2 . , .
1 , .
.

3-5 – , . 1 2 . 2 – - «count», n . - , . , ( , 1 2, ) ( " ").

– .

. 3-5 .
, , 4 5, , , 3. , – , , .

1 2, , . 2 1 – - - «» count.

:

• 3-5 , HBase; .
• 4 5 . , 5 . , .
• , «-» , .

. , ( ). , thrift, happybase, , Python ( , ), HBase, Windows 10 .. , . « » .

निष्कर्ष में - किसी के लिए सिफारिशें जो HBase में डेटा मॉडल तैयार करना शुरू कर रहा है: संबंधपरक डेटाबेस के साथ पिछले अनुभव से सार और "कमांड" याद रखें:

• डिजाइन करते समय, हम कार्य और डेटा हेरफेर पैटर्न से जाते हैं, न कि डोमेन मॉडल से
• प्रभावी पहुँच (पूर्ण तालिका स्कैन के बिना) - केवल कुंजी द्वारा
• असमान्यीकरण
• अलग-अलग लाइनों में अलग-अलग कॉलम हो सकते हैं
• स्तंभों की गतिशील रचना