Bare-Metal-Provisioning zum Selbermachen oder automatische Servervorbereitung von Grund auf neu

• Server - Server, die konfiguriert werden müssen.
• Installationsserver - Der Hauptserver, der den gesamten Vorbereitungsprozess über das Netzwerk bereitstellt.

Warum brauchen Sie Automatisierung?

• Verbinden Sie Tastatur, Maus und Monitor mit dem Server.
• BIOS, RAID, IPMI konfigurieren;
• Aktualisieren der Komponentenfirmware;
• Bereitstellen eines Dateisystem-Images (oder Installieren eines Hypervisors und Kopieren virtueller Maschinen);

• Konfigurieren Sie die Betriebssystemparameter (Hostname, IP usw.).

Wie werden die Server automatisch konfiguriert?

• Der Server, der zum Booten über das Netzwerk ausgewählt wurde.
• Der Server lädt das PXE-ROM der Netzwerkkarte und kontaktiert den Installationsserver über DHCP, um die Netzwerkadresse zu erhalten.
• DHCP des Installationsservers enthält die Adresse sowie Anweisungen zum weiteren Herunterladen über PXE.
• Der Server lädt den Netzwerk-Bootloader über PXE vom Installationsserver. Weitere Downloads erfolgen gemäß der PXE-Konfigurationsdatei.
• Der Download wird basierend auf den empfangenen Parametern (Kernel, Initramfs, Mount-Punkte, Squashfs-Image usw.) durchgeführt.

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit //   
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit //    

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto //   —  
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell //   - 
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

• Das Boot-Image muss universell sein (Treiber verfügbar, die Möglichkeit, zusätzliche Dienstprogramme zu installieren).
• höchstwahrscheinlich müssen initramfs angepasst werden.

# : 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

# :

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

#  initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

#  /tftpboot/toolkit/CustomTK/initramfs/init (  ):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

#  rootfs  initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

• entpacken Sie initramfs (wenn wir die obige Version von initramfs verwenden, ist dies nicht erforderlich)
• in den Startcode aufnehmen, der die durch / proc / cmdline übergebenen Parameter analysiert und die Steuerung weiter überträgt;
• pack initramfs.

• Skripte;
• gespeicherte BIOS / UEFI-Vorlagen verschiedener Server;
• Firmware;
• Dienstprogramme für Server;
• Protokolle.

• Master-Installation
• Sharefunctions (gemeinsame Funktionen)
• info (Informationsausgabe)
• Modelle (Einstellen der Installationsparameter basierend auf dem Servermodell)
• prepare_utils (Installation der erforderlichen Dienstprogramme)
• fwupdate (Firmware-Update)
• diag (Elementardiagnose)
• biosconf (BIOS / UEFI-Setup)
• clockfix (Einstellen der Uhrzeit auf dem Motherboard)
• srmconf (Konfiguration der Remote-Schnittstelle)
• raidconf (logische Volumes konfigurieren)

• Vorinstallation (Übertragung der Kontrolle an das Installationsprogramm des Betriebssystems oder Hypervisors, z. B. ESXi)
• Merged-Install (direkter Start des Entpackens des Images)

• Wie identifiziere ich den Server, den wir vorbereiten?
• Welche Dienstprogramme und wie konfiguriere ich den Server?
• Wie erhalte ich Einstellungen für einen bestimmten Server?

Wie identifiziere ich den Server, den wir vorbereiten?

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

Welche Dienstprogramme und wie konfiguriere ich den Server?

• Wir fordern die aktuelle Konfiguration an.
• Wenn es bereits logische Arrays gibt, löschen wir sie.
• Wir schauen uns an, welche physischen Festplatten vorhanden sind und wie viele davon.
• Erstellen Sie ein neues logisches Array. Wir unterbrechen den Vorgang im Fehlerfall.

Wie erhalte ich Einstellungen für einen bestimmten Server?

Was ist mit den verschiedenen Arten von Software, die installiert werden? Wie installiere ich einen Hypervisor, kopiere eine VM und konfiguriere all dies?

• Stellen Sie das Image bereit, nachdem Sie alle Serverkomponenten eingerichtet haben.
• Installieren Sie den Grub-Bootloader.
• Wir machen chroot und konfigurieren alles, was nötig ist.

• Wir organisieren die Übertragung der Kontrolle von unserem Skript zum Hypervisor-Installationsprogramm mithilfe der Auto-Response-Datei (Kickstart):
• Löschen Sie die aktuellen Partitionen auf der Festplatte.
• Erstellen Sie eine 500-MB-Partition.
• Wir markieren es als Boot.
• Format in FAT32.
• Wir kopieren die ESXi-Installationsdateien in das Stammverzeichnis.
• Installieren Sie syslinux.
• Kopieren Sie syslinux.cfg nach / syslinux /

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• Kopieren Sie mboot.c32 nach / syslinux.
• In boot.cfg sollte kernelopt = ks = ftp: // <IP des Installationsservers> /ks_esxi.cfg sein
• Starten Sie den Server neu.

%firstboot --interpreter=busybox
…
#   

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

#  IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

#  NFS -

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

#    ssh,   ssh-

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

#  ovftool,    ,    

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

#  

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:esxi_password@127.0.0.1
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:esxi_password@127.0.0.1

#      

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e \"SELECT ... WHERE servers.serial='$SYSSN'\"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
#    

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

#   guestinfo.esxihost.id,     

echo "guestinfo.esxihost.id = \"$SYSSN\"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = \"$SYSSN\"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
#    

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^\ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/\ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e \"UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'\""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e \"INSERT INTO events ...\""

#   SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

#    

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")