Provisioning Bare-Metal à faire soi-même ou préparation de serveur automatique à partir de zéro

• serveurs - serveurs qui doivent être configurés.
• serveur d'installation - le serveur principal qui fournit l'ensemble du processus de préparation sur le réseau.

Pourquoi avez-vous besoin d'automatisation?

• connectez le clavier, la souris et le moniteur au serveur;
• configurer le BIOS, RAID, IPMI;
• mettre à niveau le firmware des composants;
• déployer une image de système de fichiers (ou installer un hyperviseur et copier des machines virtuelles);

• configurer les paramètres du système d'exploitation (nom d'hôte, IP, etc.).

Comment les serveurs sont-ils configurés automatiquement?

• Le serveur sélectionné pour démarrer sur le réseau.
• Le serveur charge la PXE-ROM de la carte réseau et contacte le serveur d'installation via DHCP pour obtenir l'adresse réseau.
• DHCP du serveur d'installation donne l'adresse, ainsi que des instructions pour un téléchargement ultérieur via PXE.
• Le serveur télécharge le chargeur de démarrage réseau à partir du serveur d'installation via PXE, le téléchargement se poursuit en fonction du fichier de configuration PXE.
• Le téléchargement s'effectue en fonction des paramètres reçus (noyau, initramfs, points de montage, image squashfs, etc.).

default menu.c32
prompt 0
timeout 100
menu title X5 PXE Boot Menu
LABEL InstallServer Menu
	MENU LABEL InstallServer
	KERNEL menu.c32
	APPEND pxelinux.cfg/installserver
LABEL VMware Menu
	MENU LABEL VMware ESXi Install
	KERNEL menu.c32
	APPEND pxelinux.cfg/vmware
LABEL toolkit //   
	MENU LABEL Linux Scripting Toolkits
	MENU default
	KERNEL menu.c32
	APPEND pxelinux.cfg/toolkit //    

prompt 0
timeout 100
menu title X5 PXE Boot Menu
label mainmenu
    menu label ^Return to Main Menu
    kernel menu.c32
    append pxelinux.cfg/default
label x5toolkit-auto //   —  
        menu label x5 toolkit autoinstall
        menu default
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tk-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=master-install.sh CMDIS2=”…”
label x5toolkit-shell //   - 
        menu label x5 toolkit shell
        kernel toolkit/tkcustom-kernel
        append initrd=toolkit/tkcustom-initramfs.gz quiet net.ifnames=0 biosdevname=0 nfs_toolkit_ip=192.168.200.1 nfs_toolkit_path=tftpboot/toolkit nfs_toolkit_script=scripts/mount.sh script_cmd=/bin/bash CMDIS2=”…”

• l'image de démarrage doit être universelle (pilotes disponibles, possibilité d'installer des utilitaires supplémentaires);
• très probablement, les initramfs devront être personnalisés.

# : 

mkdir -p /tftpboot/toolkit/CustomTK/rootfs /tftpboot/toolkit/CustomTK/initramfs/bin

# :

yum groups -y install "Minimal Install" --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y install nfs-utils mariadb ntpdate mtools syslinux mdadm tbb libgomp efibootmgr dosfstools net-tools pciutils openssl make ipmitool OpenIPMI-modalias rng-tools --installroot=/tftpboot/toolkit/CustomTK/rootfs/
yum -y remove biosdevname --installroot=/tftpboot/toolkit/CustomTK/rootfs/

#  initramfs:

wget https://busybox.net/downloads/binaries/1.31.0-defconfig-multiarch-musl/busybox-x86_64 -O /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
chmod a+x /tftpboot/toolkit/CustomTK/initramfs/bin/busybox
cp /tftpboot/toolkit/CustomTK/rootfs/boot/vmlinuz-3.10.0-957.el7.x86_64 /tftpboot/toolkit/tkcustom-kernel

#  /tftpboot/toolkit/CustomTK/initramfs/init (  ):

#!/bin/busybox sh
/bin/busybox --install /bin
mkdir -p /dev /proc /sys /var/run /newroot
mount -t proc proc /proc
mount -o mode=0755 -t devtmpfs devtmpfs /dev
mkdir -p /dev/pts /dev/shm /dev/mapper /dev/vc
mount -t devpts -o gid=5,mode=620 devpts /dev/pts
mount -t sysfs sysfs /sys
mount -t tmpfs -o size=4000m tmpfs /newroot
echo -n "Extracting rootfs... "
xz -d -c -f rootfs.tar.xz | tar -x -f - -C /newroot
echo "done"
mkdir -p /newroot/dev /newroot/proc /newroot/sys
mount --move /sys  /newroot/sys
mount --move /proc /newroot/proc
mount --move /dev  /newroot/dev
exec switch_root /newroot /sbin/init

#  rootfs  initramfs:

cd /tftpboot/toolkit/CustomTK/rootfs
tar cJf /tftpboot/toolkit/CustomTK/initramfs/rootfs.tar.xz --exclude ./proc --exclude ./sys --exclude ./dev .
cd /tftpboot/toolkit/CustomTK/initramfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > /tftpboot/toolkit/tkcustom-initramfs-new.gz

• décompressez initramfs (si nous utilisons la version ci-dessus d'initramfs, ce n'est pas obligatoire)
• inclure dans le code de démarrage qui analysera les paramètres passés via / proc / cmdline et transférera le contrôle plus loin;
• pack initramfs.

• scripts;
• modèles BIOS / UEFI enregistrés de divers serveurs;
• firmware;
• utilitaires pour serveurs;
• journaux.

• installation principale
• sharefunctions (fonctions communes)
• info (sortie d'informations)
• modèles (définition des paramètres d'installation en fonction du modèle de serveur)
• prepare_utils (installation des utilitaires nécessaires)
• fwupdate (mise à jour du firmware)
• diag (diagnostic élémentaire)
• biosconf (configuration BIOS / UEFI)
• clockfix (réglage de l'heure sur la carte mère)
• srmconf (configuration de l'interface distante)
• raidconf (configuration des volumes logiques)

• préinstallation (transfert du contrôle au programme d'installation du système d'exploitation ou de l'hyperviseur, par exemple ESXi)
• fusion-installation (démarrage direct du déballage de l'image)

• Comment identifier le serveur que nous préparons?
• Quels utilitaires et comment configurer le serveur?
• Comment obtenir les paramètres d'un serveur spécifique?

Comment identifier le serveur que nous préparons?

dmidecode –s system-product-name
dmidecode –s system-manufacturer
dmidecode –s system-serial-number

Quels utilitaires et comment configurer le serveur?

• Nous demandons la configuration actuelle.
• S'il existe déjà des tableaux logiques, nous les effaçons.
• Nous regardons quels disques physiques sont présents et combien d'entre eux.
• Créez un nouveau tableau logique. Nous interrompons le processus en cas d'erreur.

Comment obtenir les paramètres d'un serveur spécifique?

Qu'en est-il des différents types de logiciels installés? Comment installer un hyperviseur, copier une VM et configurer tout cela?

• Après avoir configuré tous les composants du serveur, déployez l'image.
• Installez le chargeur de démarrage grub.
• Nous faisons chroot et configurons tout ce qui est nécessaire.

• Nous organisons le transfert de contrôle de notre script vers le programme d'installation de l'hyperviseur à l'aide du fichier de réponse automatique (kickstart):
• Supprimez les partitions actuelles sur le disque.
• Créez une partition de 500 Mo.
• Nous le marquons comme démarrage.
• Format en FAT32.
• Nous copions les fichiers d'installation ESXi à la racine.
• Installez syslinux.
• Copiez syslinux.cfg dans / syslinux /

default esxi
prompt 1
timeout 50
label esxi
kernel mboot.c32
append -c boot.cfg

• Copiez mboot.c32 dans / syslinux.
• Dans boot.cfg, il devrait y avoir kernelopt = ks = ftp: // <IP du serveur d'installation> /ks_esxi.cfg
• Redémarrez le serveur.

%firstboot --interpreter=busybox
…
#   

SYSSN=$(esxcli hardware platform get | grep Serial | awk -F " " '{print $3}')

#  IP

IPADDRT=$(esxcli network ip interface ipv4 get | grep vmk0 | awk -F " " '{print $2}')
LAST_OCTET=$(echo $IPADDRT | awk -F'.' '{print $4}')

#  NFS -

esxcli storage nfs add -H is -s /srv/nfs_share -v nfsshare1

#    ssh,   ssh-

mv /etc/ssh /etc/ssh.tmp
cp -R /vmfs/volumes/nfsshare1/ssh /etc/
chmod go-r /etc/ssh/ssh_host_rsa_key

#  ovftool,    ,    

cp -R /vmfs/volumes/nfsshare1/ovftool /vmfs/volumes/datastore1/

#  

/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM1 /vmfs/volumes/nfsshare1/VM_T/VM1.ova vi://root:esxi_password@127.0.0.1
/vmfs/volumes/datastore1/ovftool/tools/ovftool --acceptAllEulas --noSSLVerify --datastore=datastore1 --name=VM2 /vmfs/volumes/nfsshare1/VM_T/VM2.ova vi://root:esxi_password@127.0.0.1

#      

ssh root@is "mysql -h'192.168.0.1' -D'servers' -u'user' -p'secretpassword' -e \"SELECT ... WHERE servers.serial='$SYSSN'\"" | grep -v ^$ | sed 's/NULL//g' > /tmp/servers
...
#    

echo '#!/bin/sh' > /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip interface ipv4 set -i=vmk0 -t=static --ipv4=$IPADDR --netmask=$S_SUB || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
echo "esxcli network ip route ipv4 add -g=$S_GW -n=default || exit 1" >> /vmfs/volumes/datastore1/netconf.sh
chmod a+x /vmfs/volumes/datastore1/netconf.sh

#   guestinfo.esxihost.id,     

echo "guestinfo.esxihost.id = \"$SYSSN\"" >> /vmfs/volumes/datastore1/VM1/VM1.vmx
echo "guestinfo.esxihost.id = \"$SYSSN\"" >> /vmfs/volumes/datastore1/VM2/VM2.vmx
...
#    

SYSNAME=$(esxcli hardware platform get | grep Product | sed 's/Product Name://' | sed 's/^\ *//')
UUID=$(vim-cmd hostsvc/hostsummary | grep uuid | sed 's/\ //g;s/,$//' | sed 's/^uuid="//;s/"$//')
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e \"UPDATE servers ... SET ... WHERE servers.serial='$SYSSN'\""
ssh root@is "mysql -D'servers' -u'user' -p'secretpassword' -e \"INSERT INTO events ...\""

#   SSH

rm -rf /etc/ssh
mv /etc/ssh.tmp /etc/ssh

#    

esxcli system hostname set --fqdn=esx-${G_NICK}.x5.ru
/vmfs/volumes/datastore1/netconf.sh
reboot

ESXI_SN=$(vmtoolsd --cmd "info-get guestinfo.esxihost.id")