Yandex.Cloud рдХреЗ рд▓рд┐рдП рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ CCM (рдХреНрд▓рд╛рдЙрдб рдирд┐рдпрдВрддреНрд░рдХ рдкреНрд░рдмрдВрдзрдХ) рдХрд╛ рдкрд░рд┐рдЪрдп



Yandex.Cloud рдХреЗ рд▓рд┐рдП CSI рдбреНрд░рд╛рдЗрд╡рд░ рдХреА рд╣рд╛рд▓рд┐рдпрд╛ рд░рд┐рд▓реАрдЬрд╝ рдХреЗ рд╕рд┐рд▓рд╕рд┐рд▓реЗ рдореЗрдВ, рд╣рдо рдЗрд╕ рдХреНрд▓рд╛рдЙрдб рдХреЗ рд▓рд┐рдП рдПрдХ рдФрд░ рдУрдкрди рд╕реЛрд░реНрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ рдкреНрд░рдХрд╛рд╢рд┐рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ - рдХреНрд▓рд╛рдЙрдб рдХрдВрдЯреНрд░реЛрд▓рд░ рдореИрдиреЗрдЬрд░ ред CCM рдХреЗрд╡рд▓ рдХреНрд▓рд╕реНрдЯрд░ рдХреЗ рд▓рд┐рдП рд╣реА рдирд╣реАрдВ, рдмрд▓реНрдХрд┐ CSI рдбреНрд░рд╛рдЗрд╡рд░ рдХреЗ рд▓рд┐рдП рднреА рдЖрд╡рд╢реНрдпрдХ рд╣реИред рдЗрд╕рдХреЗ рдЙрджреНрджреЗрд╢реНрдп рдФрд░ рдХреБрдЫ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╡рд┐рд╡рд░рдг рдХрдЯ рдХреЗ рддрд╣рдд рд╣реИрдВред

рдкрд░рд┐рдЪрдп


рдРрд╕рд╛ рдХреНрдпреЛрдВ рд╣реИ?


рдЬрд┐рди рдЙрджреНрджреЗрд╢реНрдпреЛрдВ рдиреЗ рд╣рдореЗрдВ Yandex.Cloud рдХреЗ рд▓рд┐рдП CCM рд╡рд┐рдХрд╕рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкреНрд░реЗрд░рд┐рдд рдХрд┐рдпрд╛ рдерд╛, рд╡реЗ рдкреВрд░реА рддрд░рд╣ рд╕реЗ рдЙрди рд▓реЛрдЧреЛрдВ рдХреЗ рд╕рд╛рде рдореЗрд▓ рдЦрд╛рддреЗ рд╣реИрдВ рдЬреЛ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рд╕реАрдПрд╕рдЖрд░ рдЪрд╛рд▓рдХ рдХреА рдШреЛрд╖рдгрд╛ рдореЗрдВ рд╡рд░реНрдгрд┐рдд рд╣реИрдВ ред рд╣рдо рд╡рд┐рднрд┐рдиреНрди рдХреНрд▓рд╛рдЙрдб рдкреНрд░рджрд╛рддрд╛рдУрдВ рд╕реЗ рдХрдИ рдХреБрдмреЗрд░рдиреЗрдЯ рдХреНрд▓рд╕реНрдЯрд░ рдХреА рд╕реЗрд╡рд╛ рдХрд░рддреЗ рд╣реИрдВ, рдЬрд┐рд╕рдХреЗ рд▓рд┐рдП рд╣рдо рдПрдХ рдЙрдкрдХрд░рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред рдпрд╣ рдЗрди рдкреНрд░рджрд╛рддрд╛рдУрдВ рдХреЗ рдкреНрд░рдмрдВрдзрд┐рдд рд╕рдорд╛рдзрд╛рдиреЛрдВ рдХреЛ рдХрдИ рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЛ "рджрд░рдХрд┐рдирд╛рд░" рдХрд░рддрд╛ рд╣реИред рд╣рд╛рдВ, рд╣рдорд╛рд░реЗ рдкрд╛рд╕ рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдорд╛рдорд▓рд╛ рдФрд░ рдЖрд╡рд╢реНрдпрдХрддрд╛рдПрдВ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдЙрдирдХреЗ рдХрд╛рд░рдг рдХрд┐рдП рдЧрдП рд╡рд┐рдХрд╛рд╕ рдЕрдиреНрдп рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рднреА рдЙрдкрдпреЛрдЧреА рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред

CCM рд╕рд╛рдорд╛рдиреНрдп рд░реВрдк рд╕реЗ рдХреНрдпрд╛ рд╣реИ?


рдПрдХ рдирд┐рдпрдо рдХреЗ рд░реВрдк рдореЗрдВ, рд╣рдо рдЕрдкрдиреЗ рдкрд░реНрдпрд╛рд╡рд░рдг рдХреЛ рдмрд╛рд╣рд░ рд╕реЗ рдХреНрд▓рд╕реНрдЯрд░ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ - рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЯреЗрд░рд╛рдлреЙрд░реНрдо рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдПред рд▓реЗрдХрд┐рди рдХрднреА-рдХрднреА рдХреНрд▓рд╕реНрдЯрд░ рд╕реЗ рдЖрд╕рдкрд╛рд╕ рдХреЗ рдХреНрд▓рд╛рдЙрдб рд╡рд╛рддрд╛рд╡рд░рдг рдХреЛ рдкреНрд░рдмрдВрдзрд┐рдд рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ ред рдРрд╕рд╛ рдЕрд╡рд╕рд░ рдкреНрд░рджрд╛рди рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдФрд░ CCM рдЗрд╕реЗ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИ ред

рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рдХреНрд▓рд╛рдЙрдб рдирд┐рдпрдВрддреНрд░рдХ рдкреНрд░рдмрдВрдзрдХ рдкрд╛рдБрдЪ рдмреБрдирд┐рдпрд╛рджреА рдкреНрд░рдХрд╛рд░ рдХреА рд╕рд╣рднрд╛рдЧрд┐рддрд╛ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ:

  1. рдЙрджрд╛рд╣рд░рдг - рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдореЗрдВ рдиреЛрдб рдСрдмреНрдЬреЗрдХреНрдЯ ( Nodeрдмрд╛рджрд▓ рдкреНрд░рджрд╛рддрд╛ рдореЗрдВ рдПрдХ рдЖрднрд╛рд╕реА рдорд╢реАрди) рдХреЗ рдмреАрдЪ 1: 1 рдХрдиреЗрдХреНрд╢рди рдХреЛ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИред рдРрд╕рд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рд╣рдо:
    • spec.providerIDрдСрдмреНрдЬреЗрдХреНрдЯ рдореЗрдВ рдлрд╝реАрд▓реНрдб рднрд░реЗрдВ Nodeред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, OpenStack CCM рдХреЗ рд▓рд┐рдП, рдЗрд╕ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдкреНрд░рд╛рд░реВрдк рд╣реИрдВ openstack:///d58a78bf-21b0-4682-9dc6-2132406d2bb0:ред рдЖрдк рдСрдмреНрдЬреЗрдХреНрдЯ рдХреЗ рдХреНрд▓рд╛рдЙрдб рдкреНрд░рджрд╛рддрд╛ рдФрд░ рд╕рд░реНрд╡рд░ рдХреЗ рдЕрджреНрд╡рд┐рддреАрдп рдпреВрдпреВрдЖрдИрдбреА (рдУрдкрдирд╕реНрдЯреИрдХ рдореЗрдВ рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрди) рдХрд╛ рдирд╛рдо рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ;
    • nodeInfo Node . , instance type AWS;
    • . , Node NotReady, , providerID. тАФ Node, ;
  2. Zones тАУ failure domain Node, PodтАЩ ;
  3. LoadBalancer тАУ Service LoadBalancer , . , Yandex.Cloud NetworkLoadBalancer TargetGroup ;
  4. Route тАУ , .. Kubernetes pod IP- podтАЩ. (VXLAN, GENEVE) :

  5. Volume тАУ PV, PVC SC. CCM, Container Storage Interface (CSI). CSI , , CSI-.

рдкрд╣рд▓реЗ, рдХреНрд▓рд╛рдЙрдб рдХреЗ рд╕рд╛рде рдмрд╛рддрдЪреАрдд рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рд╕рднреА рдХреЛрдб рдореБрдЦреНрдп рд░реВрдк рд╕реЗ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдкреНрд░реЛрдЬреЗрдХреНрдЯ Git рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдореЗрдВ рдкрддреЗ рдкрд░ рд░рд╣рддреЗ рдереЗ k8s.io/kubernetes/pkg/cloudprovider/providers, рд▓реЗрдХрд┐рди рдЙрдиреНрд╣реЛрдВрдиреЗ рдПрдХ рдмрдбрд╝реЗ рдХреЛрдб рдмреЗрд╕ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдореЗрдВ рдЕрд╕реБрд╡рд┐рдзрд╛ рдХреЗ рдХрд╛рд░рдг рдЗрд╕реЗ рдЕрд╕реНрд╡реАрдХрд╛рд░ рдХрд░рдиреЗ рдХрд╛ рдлреИрд╕рд▓рд╛ рдХрд┐рдпрд╛ред рд╕рднреА рдкреБрд░рд╛рдиреЗ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреЛ рдПрдХ рдЕрд▓рдЧ рднрдВрдбрд╛рд░ рдореЗрдВ рд▓реЗ рдЬрд╛рдпрд╛ рдЧрдпрд╛ ред рдЖрдЧреЗ рд╕рдорд░реНрдерди рдФрд░ рд╡рд┐рдХрд╛рд╕ рдХреА рд╕реБрд╡рд┐рдзрд╛ рдХреЗ рд▓рд┐рдП, рд╕рднреА рд╕рд╛рдорд╛рдиреНрдп рдШрдЯрдХреЛрдВ рдХреЛ рднреА рдПрдХ рдЕрд▓рдЧ рднрдВрдбрд╛рд░ рдореЗрдВ рд▓реЗ рдЬрд╛рдпрд╛ рдЧрдпрд╛ ред

CSI рдХреЗ рд╕рд╛рде, рдХрдИ рдмрдбрд╝реЗ рдХреНрд▓рд╛рдЙрдб рд╕реЗрд╡рд╛ рдкреНрд░рджрд╛рддрд╛рдУрдВ рдиреЗ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдореЗрдВ рдХреНрд▓рд╛рдЙрдб рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП рдЕрдкрдиреЗ CCM рдХреЛ рдкрд╣рд▓реЗ рд╣реА рд╡рд┐рдХрд╕рд┐рдд рдХрд░ рд▓рд┐рдпрд╛ рд╣реИред рдпрджрд┐ рдЖрдкреВрд░реНрддрд┐рдХрд░реНрддрд╛ рдХреЗ рдкрд╛рд╕ рд╕реАрд╕реАрдПрдо рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рд╕рднреА рдЖрд╡рд╢реНрдпрдХ рдХрд╛рд░реНрдп рдПрдкреАрдЖрдИ рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдЙрдкрд▓рдмреНрдз рд╣реИрдВ, рддреЛ рдЖрдк рд╕реНрд╡рдпрдВ рд╕реАрд╕реАрдПрдо рд▓рд╛рдЧреВ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред

рдЕрдкрдиреЗ CCM рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреЛ рд▓рд┐рдЦрдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрд╡рд╢реНрдпрдХ рдЧреЛ-рдЗрдВрдЯрд░рдлреЗрд╕ рдХреЛ рд▓рд╛рдЧреВ рдХрд░рдирд╛ рдкрд░реНрдпрд╛рдкреНрдд рд╣реИ ред

рддрдерд╛рдЬреЛ рд╣рдореЗрдВ рдорд┐рд▓рд╛ рд╣реИ ред

рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди


рдЖрдк рдЗрд╕ рдкрд░ рдХреИрд╕реЗ рдЖрдП?


рд╣рдордиреЗ Yandex рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ (!) CCM рдХреЗ рд╕рд╛рде рд╡рд┐рдХрд╛рд╕ (рдпрд╛ рдмрд▓реНрдХрд┐, рдпрд╣рд╛рдВ рддрдХ тАЛтАЛрдХрд┐ рдЙрдкрдпреЛрдЧ) рдХреА рд╢реБрд░реБрдЖрдд рдПрдХ рд╕рд╛рд▓ рдкрд╣рд▓реЗ рдХреА рдереАред

рд╣рд╛рд▓рд╛рдБрдХрд┐, рдЗрд╕ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдореЗрдВ рд╣рдорд╛рд░реА рдХрдореА рдереА:

  • рдЬреЗрдбрдмреНрд▓реНрдпреВрдЯреА рдЖрдИрдПрдПрдо рдЯреЛрдХрди рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдкреНрд░рдорд╛рдгреАрдХрд░рдг;
  • рд╕реЗрд╡рд╛ рдирд┐рдпрдВрддреНрд░рдХ рдХрд╛ рд╕рдорд░реНрдердиред

рдЯреЗрд▓реАрдЧреНрд░рд╛рдо рдореЗрдВ рд▓реЗрдЦрдХ (dlisin) рдХреЗ рд╕рд╛рде рд╕рдордЭреМрддрд╛ рдХрд░рдХреЗ , рд╣рдордиреЗ рдпреИрдВрдбреЗрдХреНрд╕ -рдХреНрд▓рд╛рдЙрдб-рдХрдВрдЯреНрд░реЛрд▓рд░-рдореИрдиреЗрдЬрд░ рдХреЛ рдлреЛрд░реНрдХ рдХрд┐рдпрд╛ рдФрд░ рд▓рд╛рдкрддрд╛ рдХрд╛рд░реНрдпреЛрдВ рдХреЛ рдЬреЛрдбрд╝рд╛ред

рдкреНрд░рдореБрдЦ рд╡рд┐рд╢реЗрд╖рддрд╛рдРрдВ


рд╡рд░реНрддрдорд╛рди рдореЗрдВ CCM рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдЗрдВрдЯрд░рдлреЗрд╕ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИ:

  • рдЙрджрд╛рд╣рд░рдг ;
  • рдЬрд╝реЛрди ;
  • рд▓реЛрдбрдмреЗрд▓рд░ ред

рднрд╡рд┐рд╖реНрдп рдореЗрдВ, рдЬрдм Yandex.Cloud VPC рдХреА рдЙрдиреНрдирдд рд╕реБрд╡рд┐рдзрд╛рдУрдВ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдирд╛ рд╢реБрд░реВ рдХрд░ рджреЗрдЧрд╛, рддреЛ рд╣рдо рд░реВрдЯ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рдЬреЛрдбрд╝ рджреЗрдВрдЧреЗ ред

рдореБрдЦреНрдп рдЪреБрдиреМрддреА рдХреЗ рд░реВрдк рдореЗрдВ рд▓реЛрдбрдмреНрд▓рд╛рдВрд╕рд░


рдкреНрд░рд╛рд░рдВрдн рдореЗрдВ, рд╣рдордиреЗ рдЕрдиреНрдп CCM рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрдиреЛрдВ рдХреЗ рд╕рд╛рде, рдПрдХ рдкреНрд░рдХрд╛рд░ рдХреЗ рд╕рд╛рде LoadBalancerрдФрд░ TargetGroupрдкреНрд░рддреНрдпреЗрдХ рдХреЗ рд▓рд┐рдП рдПрдХ рдЬреЛрдбрд╝реА рдмрдирд╛рдиреЗ рдХреА рдХреЛрд╢рд┐рд╢ рдХреА ред рд╣рд╛рд▓рд╛рдБрдХрд┐, Yandex.Cloud рдиреЗ рдПрдХ рджрд┐рд▓рдЪрд╕реНрдк рд╕реАрдорд╛ рджрд┐рдЦрд╛рдИ: рдЗрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдкреНрд░рддрд┐рдЪреНрдЫреЗрджрди (рдЬреЛрдбрд╝реА - ) рдХреЗ рд╕рд╛рде рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ ред рдЗрд╕рд▓рд┐рдП, рд╕реНрдерд╛рдкрд┐рдд CCM рдХреЗ рднреАрддрд░ рдПрдХ рдирд┐рдпрдВрддреНрд░рдХ рд▓реЙрдиреНрдЪ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ рдХрд┐ рдЬрдм рд╡рд╕реНрддреБ рдХреЛ рдмрджрд▓рддреЗ рд╣реБрдП рдкреНрд░рддреНрдпреЗрдХ рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрди рдкрд░ рд╕рднреА рдЗрдВрдЯрд░рдлреЗрд╕ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдирдХрд╛рд░реА рдПрдХрддреНрд░ рдХрд░рддрд╛ рд╣реИ, рддреЛ рдЙрдиреНрд╣реЗрдВ рд╕рдореВрд╣ рдХреЗ рд░реВрдк рдореЗрдВ рдХреБрдЫ рдирд┐рд╢реНрдЪрд┐рдд рдмрдирд╛рддрд╛ рд╣реИ рдФрд░ рдпрд╣ рд╡рд░реНрддрдорд╛рди рд╣реИред рдЗрд╕рдХреЗ рдмрд╛рдж, рдПрдХ рдкреНрд░рдХрд╛рд░ рдХреЗ рд╕рд╛рде рдПрдХ рдСрдмреНрдЬреЗрдХреНрдЯ рдмрдирд╛рддреЗ рд╕рдордп , рд╣рдо рдмрд╕ рдкрд╣рд▓реЗ рд╕реЗ рдмрдиреЗ рдПрдХ рдХреЛ рдирдП рд╕реЗ рдЬреЛрдбрд╝рддреЗ рд╣реИрдВ редServiceLoadBalancerTargetGroupsTargetsSubnetIDIpAddress



NodeNetworkIDTargetGroupNetworkIDServiceLoadBalanacerTargetGroupNetworkLoadBalanacer

рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рд╢реБрд░реВ рдХрд░реЗрдВ?


CCM Kubernetes рд╕рдВрд╕реНрдХрд░рдг 1.15 рдФрд░ рдЙрдЪреНрдЪрддрд░ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ, рдЗрд╕рдХреЗ рд╕рдВрдЪрд╛рд▓рди рдХреЗ рд▓рд┐рдП рдпрд╣ рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдХрд┐ рдзреНрд╡рдЬ рдХреЛ рдХреНрдпреВрдм-рдПрдкреАрд╕рд░реНрд╡рд░, рдХреНрдпреВрдм-рдХрдВрдЯреНрд░реЛрд▓рд░-рдореИрдиреЗрдЬрд░, рдХреНрдпреВрдм-рд╢реЗрдбреНрдпреВрд▓рд░ рдФрд░ рд╕рднреА рдХреНрдпреВрдмрд▓реЗрдЯреЛрд╡ рдХреЗ рд▓рд┐рдП --cloud-provider=externalрдорд╛рди рдкрд░ рд╕реЗрдЯ рдХрд┐рдпрд╛ trueрдЬрд╛рдПред

рд╕реНрдерд╛рдкрдирд╛ рдХреЗ рд▓рд┐рдП рд╕рднреА рдЖрд╡рд╢реНрдпрдХ рдХрджрдо README рдореЗрдВ рд╡рд░реНрдгрд┐рдд рд╣реИрдВ ред рд╕реНрдерд╛рдкрдирд╛ рдкреНрд░рдХрдЯ рд╣реЛрдиреЗ рд╕реЗ рдХреБрдмреЗрд░рдиреЗрдЯреНрд╕ рдореЗрдВ рд╡рд╕реНрддреБрдУрдВ рдХреЛ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдмрд▓рддреА рд╣реИред

CCM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдкрдХреЛ рднреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрдЧреА:


рдЖрдк рдХрд┐рд╕реА рднреА рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рд╛рдордирд╛ рдХрд░рдиреЗ рдкрд░ рдкреНрд░рддрд┐рдХреНрд░рд┐рдпрд╛ рдФрд░ рдирдП рдореБрджреНрджреЛрдВ рдХреЛ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдореЗрдВ рдЦреБрд╢реА рд╣реЛрдЧреА !

рд╕рд╛рд░рд╛рдВрд╢


рд╣рдо рдкрд┐рдЫрд▓реЗ рджреЛ рд╣рдлреНрддреЛрдВ рдореЗрдВ рдкрд╛рдВрдЪ рдХреБрдмреЗрд░рдиреЗрдЯ рд╕рдореВрд╣реЛрдВ рдореЗрдВ рд╕реАрд╕реАрдПрдо рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд░рд╣реЗ рд╣реИрдВ рдФрд░ рдЖрдиреЗ рд╡рд╛рд▓реЗ рдорд╣реАрдиреЗ рдореЗрдВ рдЙрдирдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЛ 20 рддрдХ рд╡рд┐рд╕реНрддрд╛рд░рд┐рдд рдХрд░рдиреЗ рдХреА рдпреЛрдЬрдирд╛ рдмрдирд╛ рд░рд╣реЗ рд╣реИрдВред рдмрдбрд╝реЗ рдФрд░ рдорд╣рддреНрд╡рдкреВрд░реНрдг K8 рдкреНрд░рддрд┐рд╖реНрдард╛рдиреЛрдВ рдХреЗ рд▓рд┐рдП CCM рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╡рд░реНрддрдорд╛рди рдореЗрдВ рдЕрдиреБрд╢рдВрд╕рд┐рдд рдирд╣реАрдВ рд╣реИред

рд╕реАрдПрд╕рдЖрдИ рдХреЗ рдорд╛рдорд▓реЗ рдореЗрдВ, рдЕрдЧрд░ рд╣рдо рдпреИрдВрдбреЗрдХреНрд╕ рдбреЗрд╡рд▓рдкрд░реНрд╕ рдЗрд╕ рдкрд░рд┐рдпреЛрдЬрдирд╛ рдХреЗ рд╡рд┐рдХрд╛рд╕ рдФрд░ рд╕рдорд░реНрдерди рдХреЛ рд▓реЗрддреЗ рд╣реИрдВ, рддреЛ рд╣рдореЗрдВ рдЦреБрд╢реА рд╣реЛрдЧреА - рд╣рдо рд╣рдорд╛рд░реЗ рд▓рд┐рдП рдФрд░ рдЕрдзрд┐рдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдХрд╛рд░реНрдпреЛрдВ рд╕реЗ рдирд┐рдкрдЯрдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдирдХреЗ рдЕрдиреБрд░реЛрдз рдкрд░ рднрдВрдбрд╛рд░ рдХреЛ рд╣рд╕реНрддрд╛рдВрддрд░рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рд╣реИрдВред

рдкреБрдирд╢реНрдЪ


рд╣рдорд╛рд░реЗ рдмреНрд▓реЙрдЧ рдореЗрдВ рднреА рдкрдврд╝реЗрдВ:


All Articles