2 рдШрдВрдЯреЗ рдореЗрдВ oVirtред рднрд╛рдЧ 2. рдкреНрд░рдмрдВрдзрдХ рдФрд░ рдореЗрдЬрдмрд╛рдиреЛрдВ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдирд╛

рдпрд╣ рд▓реЗрдЦ рдУрд╡рд┐рд░реНрдЯ рдкрд░ рдПрдХ рд╢реНрд░реГрдВрдЦрд▓рд╛ рдореЗрдВ рдЕрдЧрд▓рд╛ рд╣реИ, рдпрд╣рд╛рдВ рд╕реЗ рд╢реБрд░реВ рд╣реЛрддрд╛ рд╣реИ ред

рд╕рд╛рдордЧреНрд░реА


  1. рдкрд░рд┐рдЪрдп
  2. рдкреНрд░рдмрдВрдзрдХ (рдЕрдВрдбрд╛рдХрд╛рд░-рдЗрдВрдЬрди) рдФрд░ рд╣рд╛рдЗрдкрд░рд╡рд┐рдЬрд░ (рдореЗрдЬрдмрд╛рди) рдХреА рд╕реНрдерд╛рдкрдирд╛ - рд╣рдо рдпрд╣рд╛рдВ рд╣реИрдВ
  3. рдЕрддрд┐рд░рд┐рдХреНрдд рд╕реЗрдЯрд┐рдВрдЧреНрд╕
  4. рдмреБрдирд┐рдпрд╛рджреА рд╕рдВрдЪрд╛рд▓рди

рдЗрд╕рд▓рд┐рдП, рд╣рдо рдУрд╡реЗрд░рд┐рдЯ-рдЗрдВрдЬрди рдФрд░ рдУрд╡рд┐рд░реНрдЯ-рд╣реЛрд╕реНрдЯ рдШрдЯрдХреЛрдВ рдХреА рдкреНрд░рд╛рд░рдВрднрд┐рдХ рд╕реНрдерд╛рдкрдирд╛ рдХреЗ рдореБрджреНрджреЛрдВ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВрдЧреЗред

рдЖрдк рд╣рдореЗрд╢рд╛ рдкреНрд░рд▓реЗрдЦрди рдореЗрдВ рд╕реНрдерд╛рдкрдирд╛ рдкреНрд░рдХреНрд░рд┐рдпрд╛рдУрдВ рдХреЛ рдЕрдзрд┐рдХ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рджреЗрдЦ рд╕рдХрддреЗ рд╣реИрдВ ред

рд╕рд╛рдордЧреНрд░реА


  1. Ovirt- рдЗрдВрдЬрди рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ
  2. Ovirt-host рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ
  3. OVirtN рдореЗрдВ рдПрдХ рдиреЛрдб рдЬреЛрдбрд╝рдирд╛
  4. рдиреЗрдЯрд╡рд░реНрдХ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рд╕реЗрдЯрдЕрдк
  5. рдПрдлрд╕реА рд╕реЗрдЯрдЕрдк
  6. FCoE рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░реЗрдВ
  7. рдЖрдИрдПрд╕рдУ рдЫрд╡рд┐ рднрдВрдбрд╛рд░рдг
  8. рдкрд╣рд▓реЗ рд╡реА.рдПрдо.

Ovirt- рдЗрдВрдЬрди рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ


рдЗрдВрдЬрди рдХреЗ рд▓рд┐рдП, рдиреНрдпреВрдирддрдо рдЖрд╡рд╢реНрдпрдХрддрд╛рдПрдВ 2 рдХреЛрд░ / 4 рдЧреАрдЧрд╛рдмрд╛рдЗрдЯ рд░реИрдо / 25 рдЧреАрдЧрд╛рдмрд╛рдЗрдЯ рд╕реНрдЯреЛрд░реЗрдЬ рд╣реИрдВред рдЕрдиреБрд╢рдВрд╕рд┐рдд - 4 рдХреЛрд░ / 16 GiB RAM / 50 GiB рд╕рдВрдЧреНрд░рд╣рдг рд╕реЗред рдЬрдм рдЗрдВрдЬрди рдПрдХ рдкреНрд░рдмрдВрдзрд┐рдд рдХреНрд▓рд╕реНрдЯрд░ рдХреЗ рдмрд╛рд╣рд░ рд╕рдорд░реНрдкрд┐рдд рднреМрддрд┐рдХ рдпрд╛ рдЖрднрд╛рд╕реА рдорд╢реАрди рдкрд░ рдЪрд▓рддрд╛ рд╣реИ рддреЛ рд╣рдо рд╕реНрдЯреИрдВрдбрдЕрд▓реЛрди рдкреНрд░рдмрдВрдзрдХ рд╡рд┐рдХрд▓реНрдк рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред рд╣рдорд╛рд░реА рд╕реНрдерд╛рдкрдирд╛ рдХреЗ рд▓рд┐рдП, рдЪрд▓реЛ рдПрдХ рдЖрднрд╛рд╕реА рдорд╢реАрди рд▓реЗрддреЗ рд╣реИрдВ, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдПрдХ рдЕрд▓рдЧ ESXi * рдкрд░ ред рдкрд╣рд▓реЗ рд╕реЗ рддреИрдпрд╛рд░ рдЯреЗрдореНрдкрд▓реЗрдЯ рд╕реЗ рддреИрдирд╛рддреА рд╕реНрд╡рдЪрд╛рд▓рди рдЙрдкрдХрд░рдг рдпрд╛ рдХреНрд▓реЛрдирд┐рдВрдЧ рдпрд╛ рдХрд┐рдХрд╕реНрдЯрд╛рд░реНрдЯ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдирд╛ рд╕реБрд╡рд┐рдзрд╛рдЬрдирдХ рд╣реИред

* рдиреЛрдЯ: рдПрдХ рдЙрддреНрдкрд╛рджрди рдкреНрд░рдгрд╛рд▓реА рдХреЗ рд▓рд┐рдП рдпрд╣ рдПрдХ рдмреБрд░рд╛ рд╡рд┐рдЪрд╛рд░ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдкреНрд░рдмрдВрдзрдХ рдмрд┐рдирд╛ рд░рд┐рдЬрд░реНрд╡ рдХреЗ рдХрд╛рдо рдХрд░рддрд╛ рд╣реИ рдФрд░ рдЕрдбрд╝рдЪрди рдмрди рдЬрд╛рддрд╛ рд╣реИред рдЗрд╕ рдорд╛рдорд▓реЗ рдореЗрдВ, рд╕реНрд╡-рд╣реЛрд╕реНрдЯ рдХрд┐рдП рдЧрдП рдЗрдВрдЬрди рдХреЗ рд╡рд┐рдХрд▓реНрдк рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░рдирд╛ рдмреЗрд╣рддрд░ рд╣реИред

рдпрджрд┐ рдЖрд╡рд╢реНрдпрдХ рд╣реЛ, рддреЛ рд╕реНрд╡-рд╣реЛрд╕реНрдЯреЗрдб рдХреЗ рд▓рд┐рдП рд╕реНрдЯреИрдВрдбрдЕрд▓реЛрди рдХреЛ рдкрд░рд┐рд╡рд░реНрддрд┐рдд рдХрд░рдиреЗ рдХреА рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдкреНрд░рд▓реЗрдЦрди рдореЗрдВ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рд╡рд░реНрдгрд┐рдд рд╣реИред рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ, рд╣реЛрд╕реНрдЯ рдХреЛ рд╣реЛрд╕реНрдЯ рдХрд┐рдП рдЧрдП рдЗрдВрдЬрди рдХреЗ рд╕рдорд░реНрдерди рдХреЗ рд╕рд╛рде рдкреБрдирд░реНрд╕реНрдерд╛рдкрдирд╛ рдЖрджреЗрд╢ рджрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред

VM рдкрд░ рдиреНрдпреВрдирддрдо рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдореЗрдВ CentOS 7 рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ, рдлрд┐рд░ рд╕рд┐рд╕реНрдЯрдо рдХреЛ рдЕрдкрдбреЗрдЯ рдФрд░ рд░рд┐рдмреВрдЯ рдХрд░реЗрдВ:

$ sudo yum update -y && sudo reboot

рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрди рдХреЗ рд▓рд┐рдП, рдЕрддрд┐рдерд┐ рдПрдЬреЗрдВрдЯ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдирд╛ рдЙрдкрдпреЛрдЧреА рд╣реИ:

$ sudo yum install open-vm-tools

VMware ESXi рд╣реЛрд╕реНрдЯ рдХреЗ рд▓рд┐рдП, рдпрд╛ oVirt рдХреЗ рд▓рд┐рдП:

$ sudo yum install ovirt-guest-agent

рд╣рдо рднрдВрдбрд╛рд░ рдХреЛ рдЬреЛрдбрд╝рддреЗ рд╣реИрдВ рдФрд░ рдкреНрд░рдмрдВрдзрдХ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рддреЗ рд╣реИрдВ:

$ sudo yum install https://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
$ sudo yum install ovirt-engine

рдмреБрдирд┐рдпрд╛рджреА рд╕реЗрдЯрд┐рдВрдЧ:

$ sudo engine-setup

рдЬреНрдпрд╛рджрд╛рддрд░ рдорд╛рдорд▓реЛрдВ рдореЗрдВ, рдЪрдпрдирд┐рдд рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд╕реЗрдЯрд┐рдВрдЧреНрд╕ рдкрд░реНрдпрд╛рдкреНрдд рд╣реИрдВ, рдЙрдирдХреЗ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП, рдЖрдк рдХреБрдВрдЬреА рдХреЗ рд╕рд╛рде рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рд╢реБрд░реВ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ:

$ sudo engine-setup --accept-defaults

рдЕрдм рд╣рдо рдЕрдкрдиреЗ рдирдП рдЗрдВрдЬрди рд╕реЗ ovirt.lab.example.com рд╕реЗ рдЬреБрдбрд╝ рд╕рдХрддреЗ рд╣реИрдВ ред рдпрд╣ рдЕрднреА рднреА рдпрд╣рд╛рдВ рдЦрд╛рд▓реА рд╣реИ, рдЗрд╕рд▓рд┐рдП рд╣рд╛рдЗрдкрд░рд╡рд╛рдЗрдЬрд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдЧреЗ рдмрдврд╝рддреЗ рд╣реИрдВред

Ovirt-host рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ


рднреМрддрд┐рдХ рд╣реЛрд╕реНрдЯ рдкрд░ рдиреНрдпреВрдирддрдо рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдореЗрдВ CentOS 7 рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ, рдлрд┐рд░ рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ, рд╕рд┐рд╕реНрдЯрдо рдХреЛ рдЕрдкрдбреЗрдЯ рдХрд░реЗрдВ рдФрд░ рд░рд┐рдмреВрдЯ рдХрд░реЗрдВ:

$ sudo yum install https://resources.ovirt.org/pub/yum-repo/ovirt-release43.rpm
$ sudo yum update -y && sudo reboot

рдиреЛрдЯ: рддреИрдирд╛рддреА рд╕реНрд╡рдЪрд╛рд▓рди рдЙрдкрдХрд░рдг рдпрд╛ рдЗрдВрд╕реНрдЯрд╛рд▓реЗрд╢рди рдХреЗ рд▓рд┐рдП рдХрд┐рдХрд╕реНрдЯрд╛рд░реНрдЯ рдЗрдВрд╕реНрдЯреЙрд▓реЗрд╢рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╕реБрд╡рд┐рдзрд╛рдЬрдирдХ рд╣реИред

рдХрд┐рдХрд╕реНрдЯрд╛рд░реНрдЯ рдлрд╝рд╛рдЗрд▓ рдЙрджрд╛рд╣рд░рдг
! ! !

# System authorization information
auth --enableshadow --passalgo=sha512
# Use CDROM installation media
cdrom
# Use graphical install
graphical
# Run the Setup Agent on first boot
firstboot --enable
ignoredisk --only-use=sda
# Keyboard layouts
keyboard --vckeymap=us --xlayouts='us','ru' --switch='grp:alt_shift_toggle'
# System language
lang ru_RU.UTF-8

# Network information
network  --bootproto=dhcp --device=ens192 --ipv6=auto --activate
network  --hostname=kvm01.lab.example.com

# Root password 'monteV1DE0'
rootpw --iscrypted $6$6oPcf0GW9VdmJe5w$6WBucrUPRdCAP.aBVnUfvaEu9ozkXq9M1TXiwOm41Y58DEerG8b3Ulme2YtxAgNHr6DGIJ02eFgVuEmYsOo7./
# User password 'metroP0!is'
user --name=mgmt --groups=wheel --iscrypted --password=$6$883g2lyXdkDLbKYR$B3yWx1aQZmYYi.aO10W2Bvw0Jpkl1upzgjhZr6lmITTrGaPupa5iC3kZAOvwDonZ/6ogNJe/59GN5U8Okp.qx.
# System services
services --enabled="chronyd"
# System timezone
timezone Europe/Moscow --isUtc
# System bootloader configuration
bootloader --append=" crashkernel=auto" --location=mbr --boot-drive=sda
# Partition clearing information
clearpart --all
# Disk partitioning information
part /boot --fstype xfs --size=1024 --ondisk=sda  --label=boot
part pv.01 --size=45056 --grow
volgroup HostVG pv.01 --reserved-percent=20
logvol swap --vgname=HostVG --name=lv_swap --fstype=swap --recommended
logvol none --vgname=HostVG --name=HostPool --thinpool --size=40960 --grow
logvol / --vgname=HostVG --name=lv_root --thin --fstype=ext4 --label="root" --poolname=HostPool --fsoptions="defaults,discard" --size=6144 --grow
logvol /var --vgname=HostVG --name=lv_var --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=16536
logvol /var/crash --vgname=HostVG --name=lv_var_crash --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=10240
logvol /var/log --vgname=HostVG --name=lv_var_log --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=8192
logvol /var/log/audit --vgname=HostVG --name=lv_var_audit --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=2048
logvol /home --vgname=HostVG --name=lv_home --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=1024
logvol /tmp --vgname=HostVG --name=lv_tmp --thin --fstype=ext4 --poolname=HostPool --fsoptions="defaults,discard" --size=1024

%packages
@^minimal
@core
chrony
kexec-tools

%end

%addon com_redhat_kdump --enable --reserve-mb='auto'

%end

%anaconda
pwpolicy root --minlen=6 --minquality=1 --notstrict --nochanges --notempty
pwpolicy user --minlen=6 --minquality=1 --notstrict --nochanges --emptyok
pwpolicy luks --minlen=6 --minquality=1 --notstrict --nochanges --notempty
%end
# Reboot when the install is finished.
reboot --eject

, ., ftp.example.com/pub/labkvm.cfg. 'Install CentOS 7', ( Tab) ( , )

' inst.ks=ftp://ftp.example.com/pub/labkvm.cfg'
.
/dev/sda, ( lsblk). kvm01.lab.example.com ( hostnamectl set-hostname kvm03.lab.example.com), IP тАФ , тАФ , .

root: monteV1DE0, mgmt: metroP0!is.
! ! !

рд╕рднреА рдореЗрдЬрдмрд╛рдиреЛрдВ рдкрд░ рджреЛрд╣рд░рд╛рдПрдВ (рдпрд╛ рд╕рдорд╛рдирд╛рдВрддрд░ рдореЗрдВ рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд░реЗрдВ)ред "рдЦрд╛рд▓реА" рд╕рд░реНрд╡рд░ рдХреЛ рдЪрд╛рд▓реВ рд╕реНрдерд┐рддрд┐ рд╕реЗ рд╕рдорд╛рдкреНрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, 2 рд▓рдВрдмреЗ рдбрд╛рдЙрдирд▓реЛрдб рдХреЛ рдзреНрдпрд╛рди рдореЗрдВ рд░рдЦрддреЗ рд╣реБрдП, рд▓рдЧрднрдЧ 20 рдорд┐рдирдЯ рд▓рдЧрддреЗ рд╣реИрдВред

OVirt рдореЗрдВ рдПрдХ рдиреЛрдб рдЬреЛрдбрд╝рдирд╛


рдпрд╣ рдмрд╣реБрдд рд╕рд░рд▓ рд╣реИ:

рдХрдореНрдкреНрдпреВрдЯ тЖТ рд╣реЛрд╕реНрдЯреНрд╕ тЖТ рдирдпрд╛ тЖТ ...

рд╡рд┐рдЬрд╝рд╛рд░реНрдб рдореЗрдВ, рдЖрд╡рд╢реНрдпрдХ рдлрд╝реАрд▓реНрдб рдирд╛рдо (рдкреНрд░рджрд░реНрд╢рди рдирд╛рдо, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, kvm03), рд╣реЛрд╕реНрдЯрдирд╛рдо (FQDN, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП kvm03.lab.exab.com) рдФрд░ рдкреНрд░рдорд╛рдгреАрдХрд░рдг рдЕрдиреБрднрд╛рдЧ - рд░реВрдЯ рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ ( рдЕрдореВрд░реНрдд ) рд╣реИрдВ - рдкрд╛рд╕рд╡рд░реНрдб рдпрд╛ SSH рд╕рд╛рд░реНрд╡рдЬрдирд┐рдХ рдХреБрдВрдЬреАред рдУрдХреЗ

рдмрдЯрди рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж, рдЖрдкрдХреЛ рд╕рдВрджреЗрд╢ рдорд┐рд▓реЗрдЧрд╛ тАЬрдЖрдкрдиреЗ рдЗрд╕ рд╣реЛрд╕реНрдЯ рдХреЗ рд▓рд┐рдП рдкрд╛рд╡рд░ рдкреНрд░рдмрдВрдзрди рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдирд╣реАрдВ рдХрд┐рдпрд╛ рд╣реИред рдХреНрдпрд╛ рддреБрдо рд╡рд╛рдХрдИ рдЬрд╛рд░реА рд░рдЦрдирд╛ рдЪрд╛рд╣рддреЗ рд╣реЛ? " ред рдпрд╣ рд╕рд╛рдорд╛рдиреНрдп рд╣реИ - рд╣рдо рд╕рдлрд▓ рдореЗрдЬрдмрд╛рди рдХрдиреЗрдХреНрд╢рди рдХреЗ рдмрд╛рдж, рдмрд╛рдж рдореЗрдВ рдмрд┐рдЬрд▓реА рдкреНрд░рдмрдВрдзрди рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВрдЧреЗред рд╣рд╛рд▓рд╛рдБрдХрд┐, рдпрджрд┐ рдорд╢реАрдиреЗрдВ рдЬрд┐рди рдкрд░ рдореЗрдЬрдмрд╛рдиреЛрдВ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ, рд╡реЗ рдкреНрд░рдмрдВрдзрди (IPMI, iLO, DRAC, рдЖрджрд┐) рдХрд╛ рд╕рдорд░реНрдерди рдирд╣реАрдВ рдХрд░рддреА рд╣реИрдВ, рддреЛ рдореИрдВ рдЗрд╕реЗ рдмрдВрдж рдХрд░рдиреЗ рдХреА рд╕рд▓рд╛рд╣ рджреЗрддрд╛ рд╣реВрдВ: рдЧрдгрдирд╛ тЖТ рдХреНрд▓рд╕реНрдЯрд░ тЖТ рдбрд┐рдлрд╝реЙрд▓реНрдЯ тЖТ рд╕рдВрдкрд╛рджрд┐рдд рдХрд░реЗрдВ тЖТ рдмрд╛рдбрд╝ Ploicy тЖТ рд╕рдХреНрд╖рдо рдмрд╛рдбрд╝ рд▓рдЧрд╛рдирд╛, рдЗрд╕реЗ рдЕрдирдЪреЗрдХ рдХрд░реЗрдВред

рдпрджрд┐ рд╣реЛрд╕реНрдЯ рдкрд░ oVirt рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдХрдиреЗрдХреНрдЯ рдирд╣реАрдВ рд╣реБрдИ рдереА, рддреЛ рд╕реНрдерд╛рдкрдирд╛ рд╡рд┐рдлрд▓ рд╣реЛ рдЬрд╛рдПрдЧреА, рд▓реЗрдХрд┐рди рдпрд╣ рдареАрдХ рд╣реИ - рдЖрдкрдХреЛ рдЗрд╕реЗ рдЬреЛрдбрд╝рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ, рдлрд┐рд░ рдЗрдВрд╕реНрдЯреЙрд▓ рдХрд░реЗрдВ -> рдкреБрдирд░реНрд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВред

рд╣реЛрд╕реНрдЯ рдХрдиреЗрдХреНрд╢рди 5-10 рдорд┐рдирдЯ рд╕реЗ рдЕрдзрд┐рдХ рдирд╣реАрдВ рд▓реЗрддрд╛ рд╣реИред

рдиреЗрдЯрд╡рд░реНрдХ рдЗрдВрдЯрд░рдлрд╝реЗрд╕ рд╕реЗрдЯрдЕрдк


рдЬреИрд╕рд╛ рдХрд┐ рд╣рдо рдПрдХ рджреЛрд╖-рд╕рд╣рд┐рд╖реНрдгреБ рдкреНрд░рдгрд╛рд▓реА рдХрд╛ рдирд┐рд░реНрдорд╛рдг рдХрд░рддреЗ рд╣реИрдВ, рдиреЗрдЯрд╡рд░реНрдХ рдХрдиреЗрдХреНрд╢рди рдХреЛ рдПрдХ рдирд┐рд░рд░реНрдердХ рдХрдиреЗрдХреНрд╢рди рднреА рдкреНрд░рджрд╛рди рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП, рдЬреЛ рдХрд┐ рдЯреИрдм рдкрд░ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ тЖТ рд╣реЛрд╕реНрдЯ тЖТ HOST тЖТ рдиреЗрдЯрд╡рд░реНрдХ рдЗрдВрдЯрд░рдлреЗрд╕ - рд╕реЗрдЯрдЕрдк рд╣реЛрд╕реНрдЯ рдиреЗрдЯрд╡рд░реНрдХред

рдЖрдкрдХреЗ рдиреЗрдЯрд╡рд░реНрдХ рдЙрдкрдХрд░рдг рдФрд░ рдЖрд░реНрдХрд┐рдЯреЗрдХреНрдЪрд░ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХреА рдХреНрд╖рдорддрд╛рдУрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░, рд╡рд┐рдХрд▓реНрдк рд╕рдВрднрд╡ рд╣реИрдВред рд╢реАрд░реНрд╖-рд░реИрдХ рд░реИрдХ рдХреЗ рдвреЗрд░ рд╕реЗ рдЬреБрдбрд╝рдирд╛ рд╕рдмрд╕реЗ рдЕрдЪреНрдЫрд╛ рд╣реИ рддрд╛рдХрд┐ рдЬрдм рдХреЛрдИ рд╡рд┐рдлрд▓ рд╣реЛ рдЬрд╛рдП, рддреЛ рдиреЗрдЯрд╡рд░реНрдХ рдЙрдкрд▓рдмреНрдзрддрд╛ рдмрд╛рдзрд┐рдд рди рд╣реЛред рдПрдХ рдПрдХрддреНрд░рд┐рдд LACP рдЪреИрдирд▓ рдХреЗ рдЙрджрд╛рд╣рд░рдг рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВред рдПрдХрддреНрд░ рдХрд┐рдП рдЧрдП рдЪреИрдирд▓ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдорд╛рдЙрд╕ рдХреЗ рд╕рд╛рде 2 рдЕрдкреНрд░рдпреБрдХреНрдд рдПрдбрд╛рдкреНрдЯрд░ рдХреЛ "рд▓реЗ" рдФрд░ рдЗрд╕реЗ 1 рдкрд░ рд▓реЗ рдЬрд╛рдПрдВред рдирдпрд╛ рдмреЙрдиреНрдб рд╡рд┐рдВрдбреЛ рдмрдирд╛рдПрдБ редрдЬрд╣рд╛рдБ LACP (рдореЛрдб 4, рдбрд╛рдпрдиреЗрдорд┐рдХ рд▓рд┐рдВрдХ рдПрдХрддреНрд░реАрдХрд░рдг, 802.3ad) рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдЪреБрдирд╛ рдЬрд╛рддрд╛ рд╣реИред рд╕реНрд╡рд┐рдЪ рдкрдХреНрд╖ рдкрд░, рд╕рд╛рдорд╛рдиреНрдп рдПрд▓рдПрд╕реАрдкреА рд╕рдореВрд╣ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред рдпрджрд┐ рд╕реНрд╡рд┐рдЪ рд╕реНрдЯреИрдХ рдХрд╛ рдирд┐рд░реНрдорд╛рдг рд╕рдВрднрд╡ рдирд╣реАрдВ рд╣реИ, рддреЛ рдЖрдк рд╕рдХреНрд░рд┐рдп-рдмреИрдХрдЕрдк рдореЛрдб (рдореЛрдб 1) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рд╣рдо рдЕрдЧрд▓реЗ рд▓реЗрдЦ рдореЗрдВ рд╡реАрдПрд▓рдПрдПрди рд╕реЗрдЯрд┐рдВрдЧреНрд╕ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВрдЧреЗ, рдФрд░ рдпреЛрдЬрдирд╛ рдФрд░ рдкреВрд░реНрд╡рд╛рдкреЗрдХреНрд╖рд╛ рдЧрд╛рдЗрдб рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдиреЗрдЯрд╡рд░реНрдХ рд╕реЗрдЯрд┐рдВрдЧреНрд╕ рдкрд░ рд╕рд┐рдлрд╛рд░рд┐рд╢реЛрдВ рдХреЗ рд╕рд╛рде рдФрд░ рдЕрдзрд┐рдХ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ ред

рдПрдлрд╕реА рд╕реЗрдЯрдЕрдк


рдлрд╛рдЗрдмрд░ рдЪреИрдирд▓ (FC) рдмреЙрдХреНрд╕ рд╕реЗ рдмрд╛рд╣рд░ рд╕рдорд░реНрдерд┐рдд рд╣реИ, рдЗрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рд╕реАрдзрд╛ рд╣реИред рд╣рдо рднрдВрдбрд╛рд░рдг рдиреЗрдЯрд╡рд░реНрдХ рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдирд╣реАрдВ рдХрд░реЗрдВрдЧреЗ, рдЬрд┐рд╕рдореЗрдВ рднрдВрдбрд╛рд░рдг рдкреНрд░рдгрд╛рд▓рд┐рдпреЛрдВ рдХреЗ рд╡рд┐рдиреНрдпрд╛рд╕ рдФрд░ рдХрдкрдбрд╝реЗ рд╕реНрд╡рд┐рдЪ рдХреЗ рдЬрд╝реЛрдирд┐рдВрдЧ рдХреЛ рдУрд╡рд░реНрдЯ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЗ рд╣рд┐рд╕реНрд╕реЗ рдХреЗ рд░реВрдк рдореЗрдВ рд╢рд╛рдорд┐рд▓ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред

FCoE рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░реЗрдВ


FCoE, рдореЗрд░реА рд░рд╛рдп рдореЗрдВ, рднрдВрдбрд╛рд░рдг рдиреЗрдЯрд╡рд░реНрдХ рдореЗрдВ рд╡реНрдпрд╛рдкрдХ рд░реВрдк рд╕реЗ рдЙрдкрдпреЛрдЧ рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдерд╛, рд▓реЗрдХрд┐рди рдЗрд╕реЗ рдЕрдХреНрд╕рд░ "рдЕрдВрддрд┐рдо рдореАрд▓" рдХреЗ рд░реВрдк рдореЗрдВ рд╕рд░реНрд╡рд░реЛрдВ рдкрд░ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдПрдЪрдкреАрдИ рд╡рд░реНрдЪреБрдЕрд▓ рдХрдиреЗрдХреНрдЯ рдореЗрдВред

FCoE рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрддрд┐рд░рд┐рдХреНрдд рд╕рд░рд▓ рдЪрд░рдгреЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИред

Setup FCoE Engine


Red Hat B.3. How to Set Up Red Hat Virtualization Manager to Use FCoE
On the Manager
, :


$ sudo engine-config -s UserDefinedNetworkCustomProperties='fcoe=^((enable|dcb|auto_vlan)=(yes|no),?)*$'
$ sudo systemctl restart ovirt-engine.service

Setup Node FCoE


oVirt-Host'

$ sudo yum install vdsm-hook-fcoe

FCoE, Red Hat: 25.5. Configuring a Fibre Channel over Ethernet Interface.

Broadcom CNA User Guide FCoE Configuration for Broadcom-Based Adapters.

, ( minimal):

$ sudo yum install fcoe-utils lldpad

( ens3f2 ens3f3 CNA, ):

$ sudo cp /etc/fcoe/cfg-ethx /etc/fcoe/cfg-ens3f2
$ sudo cp /etc/fcoe/cfg-ethx /etc/fcoe/cfg-ens3f3
$ sudo vim /etc/fcoe/cfg-ens3f2
$ sudo vim /etc/fcoe/cfg-ens3f3

: DCB/DCBX, DCB_REQUIRED no.

DCB_REQUIRED=┬лyes┬╗ тЖТ #DCB_REQUIRED=┬лyes┬╗

, adminStatus , .. FCoE:

$ sudo lldptool set-lldp -i ens3f0 adminStatus=disabled
...
$ sudo lldptool set-lldp -i ens3f3 adminStatus=disabled

, LLDP:

$ sudo systemctl start lldpad
$ sudo systemctl enable lldpad

, DCB/DCBX, DCB_REQUIRED no .

$ sudo dcbtool sc ens3f2 dcb on
$ sudo dcbtool sc ens3f3 dcb on
$ sudo dcbtool sc ens3f2 app:fcoe e:1
$ sudo dcbtool sc ens3f3 app:fcoe e:1
$ sudo ip link set dev ens3f2 up
$ sudo ip link set dev ens3f3 up
$ sudo systemctl start fcoe
$ sudo systemctl enable fcoe

:

$ sudo vim /etc/sysconfig/network-scripts/ifcfg-ens3f2
$ sudo vim /etc/sysconfig/network-scripts/ifcfg-ens3f3

ONBOOT=yes

FCoE , .

$ sudo fcoeadm -i

FCoE FC.

рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рднрдВрдбрд╛рд░рдг рдкреНрд░рдгрд╛рд▓рд┐рдпреЛрдВ рдФрд░ рдиреЗрдЯрд╡рд░реНрдХреЛрдВ рдХрд╛ рд╡рд┐рдиреНрдпрд╛рд╕ рд╣реИ - рдЬрд╝реЛрдирд┐рдВрдЧ, рд╕реИрди рд╣реЛрд╕реНрдЯ, рд╡реЙрд▓реНрдпреВрдо / LUN рдХреЛ рдмрдирд╛рдирд╛ рдФрд░ рдкреНрд░рд╕реНрддреБрдд рдХрд░рдирд╛, рдЬрд┐рд╕рдХреЗ рдмрд╛рдж рд╕реНрдЯреЛрд░реЗрдЬ рдХреЛ рдУрд╡рд░реНрдЯ-рд╣реЛрд╕реНрдЯреНрд╕ рд╕реЗ рдЬреЛрдбрд╝рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ: рд╕реНрдЯреЛрд░реЗрдЬ тЖТ рдбреЛрдореЗрди тЖТ рдиреНрдпреВ рдбреЛрдореЗрдиред

рдбреЛрдореЗрди рдлрдВрдХреНрд╢рди рдбреЗрдЯрд╛, рд╕реНрдЯреЛрд░реЗрдЬ рдЯрд╛рдЗрдк - рдлрд╛рдЗрдмрд░ рдЪреИрдирд▓, рд╣реЛрд╕реНрдЯ - рдХреЛрдИ рднреА, рдирд╛рдо - рдЬреИрд╕реЗ storNN-volMM рдЫреЛрдбрд╝рддреЗ рд╣реИрдВред

рдирд┐рд╢реНрдЪрд┐рдд рд░реВрдк рд╕реЗ рдЖрдкрдХреА рднрдВрдбрд╛рд░рдг рдкреНрд░рдгрд╛рд▓реА рдХреА рдЕрдиреБрдорддрд┐ рд╣реИ рдХрд┐ рдХрдиреЗрдХреНрд╢рди рди рдХреЗрд╡рд▓ рд░рд╛рд╕реНрддреЛрдВ рдХрд╛ рдЖрд░рдХреНрд╖рдг рд╣реИ, рдмрд▓реНрдХрд┐ рд╕рдВрддреБрд▓рди рднреА рд╣реИред рдХрдИ рдЖрдзреБрдирд┐рдХ рдкреНрд░рдгрд╛рд▓рд┐рдпрд╛рдВ рд╕рдорд╛рди рд░реВрдк рд╕реЗ рд╕рдорд╛рди рд░реВрдк рд╕реЗ рд╕рднреА рдкрдереЛрдВ рдкрд░ рдбреЗрдЯрд╛ рд╕рдВрдЪрд╛рд░рд┐рдд рдХрд░рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реИрдВ (ALUA рд╕рдХреНрд░рд┐рдп / рд╕рдХреНрд░рд┐рдп)ред

рдПрдХ рд╕рдХреНрд░рд┐рдп рд╕реНрдерд┐рддрд┐ рдореЗрдВ рд╕рднреА рдкрдереЛрдВ рдХреЛ рд╕рдХреНрд╖рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЛ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд▓реЗрдЦреЛрдВ рдореЗрдВ, рдЙрд╕ рдкрд░ рдФрд░ рдЕрдзрд┐рдХ, рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИред

NFS рдФрд░ iSCSI рдХреЛ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдирд╛ рдПрдХ рд╕рдорд╛рди рддрд░реАрдХреЗ рд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред

рдЖрдИрдПрд╕рдУ рдЫрд╡рд┐ рднрдВрдбрд╛рд░рдг


рдУрдПрд╕ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЛ рдЙрдирдХреА рд╕реНрдерд╛рдкрдирд╛ рдлрд╝рд╛рдЗрд▓реЛрдВ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрдЧреА, рдЬреЛ рдЕрдХреНрд╕рд░ рдЖрдИрдПрд╕рдУ рдЫрд╡рд┐рдпреЛрдВ рдХреЗ рд░реВрдк рдореЗрдВ рдЙрдкрд▓рдмреНрдз рд╣реЛрддреА рд╣реИрдВред рдЖрдк рдмрд┐рд▓реНрдЯ-рдЗрди рдкрд╛рде рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдЫрд╡рд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдУрд╡рд░реНрдЯ рдореЗрдВ рдПрдХ рд╡рд┐рд╢реЗрд╖ рдкреНрд░рдХрд╛рд░ рдХреЗ рд╕реНрдЯреЛрд░реЗрдЬ рдХреЛ рд╡рд┐рдХрд╕рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ - рдЖрдИрдПрд╕рдУ, рдЬрд┐рд╕реЗ рдПрдХ рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдХреЛ рд▓рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдЗрд╕реЗ рдЬреЛрдбрд╝реЗрдВ:

рднрдВрдбрд╛рд░рдг тЖТ рдбреЛрдореЗрди тЖТ рдирдпрд╛ рдбреЛрдореЗрди,
рдбреЛрдореЗрди рдлрд╝рдВрдХреНрд╢рди тЖТ рдЖрдИрдПрд╕рдУ,
рдирд┐рд░реНрдпрд╛рдд рдкрде - рдЬреИрд╕реЗ mynfs01.example.com:/exports/ovirt-iso (рдХрдиреЗрдХреНрд╢рди рдХреЗ рд╕рдордп, рдлрд╝реЛрд▓реНрдбрд░ рдЦрд╛рд▓реА рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП, рдкреНрд░рдмрдВрдзрдХ рдХреЛ рдЗрд╕реЗ рд▓рд┐рдЦрдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП),
рдирд╛рдо - рдЬреИрд╕реЗ mynfs01-isoред

рдЫрд╡рд┐рдпреЛрдВ рдХреЛ рд╕рдВрдЧреНрд░рд╣реАрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдкреНрд░рдмрдВрдзрдХ рд╕рдВрд░рдЪрдирд╛
/ рдирд┐рд░реНрдпрд╛рдд / ovirt-iso / <рдХреБрдЫ UUID> / рдЪрд┐рддреНрд░ / 11111111-1111-11-11-11-1111-111111111111 / рдмрдирд╛рдПрдЧрд╛

рдпрджрд┐ рдЖрдкрдХреЗ рдкрд╛рд╕ рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рд╣рдорд╛рд░реЗ рдПрдирдПрдлрдПрд╕ рд╕рд░реНрд╡рд░ рдкрд░ рдЖрдИрдПрд╕рдУ рдЫрд╡рд┐рдпрд╛рдВ рд╣реИрдВ, рддреЛ рдЕрдВрддрд░рд┐рдХреНрд╖ рдХреЛ рдмрдЪрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдлрд╝рд╛рдЗрд▓реЛрдВ рдХреЛ рдХреЙрдкреА рдХрд░рдиреЗ рдХреЗ рдмрдЬрд╛рдп рдЙрдиреНрд╣реЗрдВ рдЗрд╕ рдлрд╝реЛрд▓реНрдбрд░ рд╕реЗ рдЬреЛрдбрд╝рдирд╛ рд╕реБрд╡рд┐рдзрд╛рдЬрдирдХ рд╣реИред

рдкрд╣рд▓реЗ рд╡реА.рдПрдо.


рдЗрд╕ рд╕реНрддрд░ рдкрд░, рдЖрдк рдкрд╣рд▓реЗ рд╕реЗ рд╣реА рдкрд╣рд▓реА рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрди рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдЙрд╕ рдкрд░ рдУрдПрд╕ рдФрд░ рдПрдкреНрд▓рд┐рдХреЗрд╢рди рд╕реЙрдлрд╝реНрдЯрд╡реЗрдпрд░ рд╕реНрдерд╛рдкрд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред

рдХрдВрдкреНрдпреВрдЯ тЖТ рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрдиреЗрдВ тЖТ рдирдИ

рдирдИ рдорд╢реАрди рдХреЗ рд▓рд┐рдП, рдПрдХ рдирд╛рдо (рдирд╛рдо) рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд░реЗрдВ, рдПрдХ рдбрд┐рд╕реНрдХ рдмрдирд╛рдПрдВ (рдЗрдВрд╕реНрдЯреЗрдВрд╕ рдЗрдореЗрдЬреЗрд╕ тЖТ рдХреНрд░рд┐рдПрдЯ рдХрд░реЗрдВ) рдФрд░ рдиреЗрдЯрд╡рд░реНрдХ рдЗрдВрдЯрд░рдлреЗрд╕ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ (vNIC рдкреНрд░реЛрдлрд╛рдЗрд▓ рдХреЛ рдЪреБрдирдХрд░ VM рд╡реАрдбрд┐рдпреЛ рдЗрдВрдЯрд░рдлреЗрд╕ тЖТ тЖТ рдЕрдм рддрдХ рдХреА рд╕реВрдЪреА рдореЗрдВ рд╕реЗ рдХреЗрд╡рд▓ ovirtmgmod рдЪреБрдиреЗрдВ)ред

рдХреНрд▓рд╛рдЗрдВрдЯ рдХреА рддрд░рдл, рдХрдВрд╕реЛрд▓ рдХреЗ рд╕рд╛рде рдЗрдВрдЯрд░реИрдХреНрдЯ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрдкрдХреЛ рдПрдХ рдЖрдзреБрдирд┐рдХ рдмреНрд░рд╛рдЙрдЬрд╝рд░ рдФрд░ SPICE рдХреНрд▓рд╛рдЗрдВрдЯ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИред

рдкрд╣рд▓реА рдорд╢реАрди рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рд╢реБрд░реВ рд╣реБрдИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рд╕рд┐рд╕реНрдЯрдо рдХреЗ рдЕрдзрд┐рдХ рдкреВрд░реНрдг рд╕рдВрдЪрд╛рд▓рди рдХреЗ рд▓рд┐рдП, рдХрдИ рдЕрддрд┐рд░рд┐рдХреНрдд рд╕реЗрдЯрд┐рдВрдЧреНрд╕ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ, рдЬрд┐рд╕реЗ рд╣рдо рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд▓реЗрдЦреЛрдВ рдореЗрдВ рдЬрд╛рд░реА рд░рдЦреЗрдВрдЧреЗред

All Articles