गोपनीय मशीन सीखना। PySyft लाइब्रेरी

हेब्र, नमस्कार!

यह लेख गोपनीयता-संरक्षित मशीन लर्निंग के बारे में है। हम चर्चा करेंगे कि प्रशिक्षण के दौरान उपयोगकर्ताओं की गोपनीयता क्यों और कैसे सुनिश्चित की जाए, उदाहरण के लिए, तंत्रिका नेटवर्क।

अधिकांश लेख एंड्रयू ट्रास्क के भाषणों और व्याख्यानों का पुन: वर्णन है। वह OpenMined समुदाय के नेता हैं । ये मशीन लर्निंग में निजता के विषय से जुड़े लोग हैं। विशेष रूप से, OpenMined PySyft लाइब्रेरी पर काम कर रहा है । यह निजी मशीन सीखने के लिए PyTorch, Tensorflow, या Keras पर एक आवरण है। हम इस लेख के दौरान PySyft को जान पाएंगे।

प्रेरणा

आइए हम मानव ट्यूमर का एक वर्गीकरण करना चाहते हैं। अगर हम इस तरह का क्लासिफायर कर सकते हैं, तो हम लाखों लोगों की मदद करेंगे। फिर, हमारा पहला कदम एक उपयुक्त डेटासेट खोजना है। ध्यान दें कि यह डेटा निजी है, इसे एक्सेस करना मुश्किल है। ज्यादातर लोग सार्वजनिक रूप से अपनी बीमारियों के बारे में बात नहीं करना चाहते हैं।

मैं स्पष्ट कर दूंगा कि डेटा गुमनामी पर्याप्त क्यों नहीं है। 2007 में, नेटफ्लिक्स ने 500,000 उपयोगकर्ताओं से 10 मिलियन मूवी रेटिंग प्रकाशित की। यह डेटासेट सबसे अच्छी सिफारिश प्रणाली बनाने के लिए एक प्रतियोगिता का हिस्सा था। इसमें लोगों के नाम और फिल्मों के नाम की जगह पहचानकर्ताओं ने ले ली। हालांकि, शोधकर्ता आईएमडीबी के साथ खुले डेटा का उपयोग करने वाले व्यक्तियों की पहचान करने में सक्षम थे। मूल लेख में अधिक जानकारी ।

फिर, आपको एनोनिमीकरण से अधिक कुछ चाहिए। इसके अलावा, मैं मानता हूं कि तंत्रिका नेटवर्क को उस डेटा पर प्रशिक्षित करना संभव है, जिसकी हमारे पास पहुंच नहीं है। फिर गोपनीयता सुनिश्चित की जाएगी और हम एक ट्यूमर क्लासिफायर का निर्माण करने में सक्षम होंगे। इसके अलावा, हम अन्य बीमारियों, जैसे मनोभ्रंश या अवसाद पर काम करने में सक्षम होंगे। यदि हम मशीन लर्निंग में निजी डेटा के साथ काम करना सीखते हैं, तो हम दुनिया की महत्वपूर्ण समस्याओं को हल कर सकते हैं।

रिमोट एक्ज़ीक्यूशन / फेडरेटेड लर्निंग

मान लीजिए हम एक सेकंड के लिए Apple हैं। हम अपनी सेवाओं को बेहतर बनाना चाहते हैं। उदाहरण के लिए, हम ऑटो-पूर्ति में सुधार करना चाहते हैं। फिर, हमें डेटा की आवश्यकता है: उपयोगकर्ता किस शब्द और किस क्रम में टाइप करते हैं। हम इस डेटा को आईफ़ोन और आईपैड से डाउनलोड कर सकते हैं, इसे कंपनी के सर्वर पर स्टोर कर सकते हैं और डेटासेट तैयार है। लेकिन फिर हम गोपनीयता का उल्लंघन करते हैं!

चूंकि डेटा मॉडल में नहीं जाता है, इसलिए मॉडल डेटा पर जाता है। यह हमारा पहला विचार है। हम उपयोगकर्ताओं को तंत्रिका नेटवर्क भेजेंगे, हम स्थानीय रूप से उनके डेटा से सीखेंगे और अपडेटेड वेट के साथ मॉडल प्राप्त करेंगे। 'रिमोट एक्ज़ीक्यूशन' की एक अन्य विशेषता समानांतर मॉडल प्रशिक्षण की क्षमता है, अर्थात्। एक साथ विभिन्न उपकरणों पर।

PySyft — python- . , . . , Torch-, .

#  PyTorch  PySyft
import torch as th
import syft as sy

#     PyTorch-
hook = sy.TorchHook(th)

#  "" ,  " " -    .
bob = sy.VirtualWorker(hook, id="bob")

#    x  y     .    .
x = th.tensor([1,2,3,4,5]).send(bob)
y = th.tensor([1,1,1,1,1]).send(bob)

#      . 
z = x + y

#  ,     
bob._objects
# {5102423178: tensor([1, 2, 3, 4, 5]),
#  6031624222: tensor([1, 1, 1, 1, 1]),
#  4479039083: tensor([2, 3, 4, 5, 6])}

#      ,    
z = z.get()
z
# tensor([2, 3, 4, 5, 6])

bob._objects
# {5102423178: tensor([1, 2, 3, 4, 5]), 
#  6031624222: tensor([1, 1, 1, 1, 1])}

tensor.get(). . , - ?

Differential Privacy

, , . , bag-of-words, , {"": " "}. . Differential Privacy — , .
.

. — . , . , , , . . , , . , . .

, - , 50/50. , . . , 60% ''. , . : 35% '', 25% '', 15% '' 25% ''. , 70% '' 30% ''. .

, . , , . , , .

. , . . , ( ).

. 'Remote Execution' , . , . .

. . , Secure multi-party computation Homomorphic Encryption. ?

:

• Apple , . .
• — "Differential Privacy". , . .

:

• Privacy Preserving AI — Andrew Trask, OpenMined — PySyft
• गोपनीयता के लिए एक सामान्य ढाँचा जो गहन शिक्षण को संरक्षित करता है - मूल PySyft लेख