Différences

Ci-dessous, les différences entre deux révisions de la page.

--- benevoles:technique:proxmox [2024/10/25 18:54] – [Importer un VPS depuis ganeti] ljf
+++ benevoles:technique:proxmox [2025/06/06 18:44] (Version actuelle) – ljf
@@ Ligne 1: / Ligne 1: @@
 <markdown>
 # Proxmox pour ARN
@@ Ligne 12: / Ligne 13: @@
 ### Ajout d'un nœud
+Ici on prendra l'exemple de l'ajout du noeud hw4
+#### Avant l'installation de proxmox
+  * Un serveur
+  * Pas de carte RAID matériel
+  * 4 disques de 4To + 1 disque de spare (moitié Samsung 870 EVO, moitié Crucial XXXXXXX)
+  * Vérifier que les 2 alims fonctionnent
+#### Installation de proxmox
+. Booter sur l'iso proxmox
+. choisir l'installation ZFS RAID 10 (en faisant attention que les disques avec des serial number proche, ne soient pas dans le même sous mirroir du RAID 10...)
+#### Installation d'utilitaire
+```
+apt install jq python3-unidecode
+```
+#### Création de l'entrée DNS
+A faire sur ns0.arn-fai.net
+```
+hwhost-4 A 89.234.141.134
+hwhost-4 AAAA 2a00:5881:8100::134
+```
+#### Mise en réseau
+! Cette configuration est temporaire, car on utilise le switch non manageable dédié du cluster pour accéder à internet, ce qui n'était pas prévu.
+. Brancher un câble vert du switch manageable au premier port du serveur
+. Brancher un câble bleu du switch non manageable au second port du serveur
+. Ajouter une route `ip r a 2a00:5881:8100::134 via fe80::69:4 dev eth1 metric 1024 pref medium` sur hw2
+. Configurer /etc/network/interfaces et redémarrer le réseau `service networking restart`
+```
+auto eno2
+iface eno2 inet manual
+iface eno2 inet6 manual
+auto vmbr0
+iface vmbr0 inet static
+        address 192.168.11.4/24
+        gateway 192.168.11.2
+        bridge-ports eno2
+        bridge-stp off
+        bridge-fd 0
+        post-up /sbin/ip a a 89.234.141.134 dev $IFACE
+iface vmbr0 inet6 static
+        address fe80::69:4/112
+        gateway fe80::69:2
+        accept_ra 0
+        autoconf 0
+        dad-attemps 0
+        post-up /sbin/ip a a 2a00:5881:8100::134 dev $IFACE
+auto vmbr1
+iface vmbr1 inet static
+	address 169.254.42.1/32
+	bridge-ports none
+	bridge-stp off
+	bridge-fd 0
+	post-up  /sbin/ip a a 10.254.42.1/32 dev $IFACE
+iface vmbr1 inet6 static
+	address fe80::42:1/64
+	post-up  /sbin/ip a a fc00::42:1/64 dev $IFACE
+```
+On configure le forwarding pour les VM
+/etc/sysctl.d/arn.conf
+```
+net.ipv6.conf.all.autoconf=0
+net.ipv6.conf.all.disable_ipv6 = 0
+net.ipv4.ip_forward=1
+net.ipv6.conf.all.forwarding=1
+net.ipv6.conf.default.forwarding = 1
+net.ipv6.conf.all.proxy_ndp = 1
+net.ipv6.conf.default.proxy_ndp = 1
+```
+Puis, on applique
+```
+service procps force-reload
+```
+#### Ajout dans le cluster
+#### SSH
+/etc/ssh/sshd_config
+A partir d'ici il faudra se connecter via ssh avec le port 722.
+#### x509 Let's Encrypt
+Dans l'interface web:
+. Cliquer sur le noeud `hwhost-4 > Certificates`
+. Dans la partie `ACME` cliquer sur `Add`
+. Saisir `hwhost-4.arn-fai.net`
+. Cliquer sur `Edit` (account) et mettre `arn-fai` puis `Apply`
+. `Order certificates now`
+#### Résolveur DNS
+/etc/resolv.conf
+```
+search arn-fai.net
+nameserver 80.67.169.40
+nameserver 185.233.100.101
+nameserver 89.234.141.66
+```
+#### Fichier /etc/hosts
+Ajouter
+```
+.234.141.134 hwhost-4.arn-fai.net hwhost-4
+```
+#### Déployer les scripts d'ARN
+Ajouter la config ssh
+```
+Host hwhost-2.arn-fai.net
+    Port 2222
+Host *
+    User root
+    Port 722
+```
+Valider les fingerprint sur l'ensemble des nœuds
+```
+ssh hwhost-3.arn-fai.net
+ssh hwhost-4.arn-fai.net
+```
+A faire sur un des nœuds déjà installé
+```
+sync-nodes
+```
+#### Installer lufi-cli
+https://wiki.arn-fai.net/benevoles:technique:lufi-cli
+#### Désactiver le message de souscription sur l'interface web
+Remplacer aux alentour de la ligne 565 du fichier /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js
+```
+.data.status.toLowerCase() !== "active") {
+```
+par
+```
+.data.status.toLowerCase() !== "active") {orig_cmd(); } else if ( false ) {
+```
+#### Libérer du stockage inutilisé sur les machines virtuelles
+  * En activant l'option //**Discard**// de chaque machine virtuelle sous //**Hardware**// puis //**Hard Disk**//
+#### Modifier les repository de base de l'instance Proxmox
+```
+cat <<EOF >/etc/apt/sources.list.d/pve-enterprise.list
+# deb https://enterprise.proxmox.com/debian/pve bookworm pve-enterprise
+EOF
+```
+```
+cat <<EOF >/etc/apt/sources.list.d/pve-install-repo.list
+deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription
+EOF
+```
+#### Enlever le message d'alerte de souscription lors de la connexion à l'interface graphique
+```
+  echo "DPkg::Post-Invoke { \"dpkg -V proxmox-widget-toolkit | grep -q '/proxmoxlib\.js$'; if [ \$? -eq 1 ]; then { echo 'Removing subscription nag from UI...'; sed -i '/.*data\.status.*{/{s/\!//;s/active/NoMoreNagging/}' /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js; }; fi\"; };" >/etc/apt/apt.conf.d/no-nag-script
+  apt --reinstall install proxmox-widget-toolkit
+```
+Source : https://github.com/tteck/Proxmox/blob/main/misc/post-pve-install.sh
+#### Optimisations
+##### Général
+  * Récupérer le nom du pool ZFS, en cliquant sur la machine du cluster de la //server view//, sous //**Disks**// puis //**ZFS**//
+  * Désactiver les mises à jour des //**metadata**// pour les accès aux fichiers
+```
+sudo zfs set atime=off [Nom du pool de stockage]
+```
+   * Désactiver la compression du système de fichiers
+```
+sudo zfs set compression=off [Nom du pool de stockage]
+```
+##### Régler le quota de mémoire utilisée par ZFS
+  * Ajouter la ligne suivante à **/etc/modprobe.d/zfs.conf**
+  * La valeur est calculée selon cette méthode : **2 GB** de base + **1 GB** par **TB de stockage**
+```
+    options zfs zfs_arc_max=[Valeur]
+```
+  * Dans notre cas, nous avons sur hwhost-3 un stockage ZFS de 8 To, nous avons donc besoin de 10 GB de mémoire.
+  * Soit **10** //GB * 1024 * 1024 * 1024// = **10737418240**
+Source : https://pve.proxmox.com/wiki/ZFS_on_Linux#sysadmin_zfs_limit_memory_usage
+##### Modifier le profil de mise à l'échelle du CPU
+  * Modifier le fichier crontab
+```
+   crontab -e
+```
+  * Ajouter les lignes
+```
+# Modification de la mise à l'échelle du processeur par le gouverneur "Conservative"
+@reboot (sleep 60 && echo "conservative" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor)
+```
+## Réflexion technique
+### CPU des VM
+Par défaut, nous allons utiliser le `cpu_type` `host` qui aura les meilleures performances, on sacrifie l fait de pouvoir faire des migrations live (sans redémarrage des VM).
 ## Commandes utiles
@@ Ligne 59: / Ligne 290: @@
 ### Ajouter une image cloud-init
 ```
-wget https://cloud.debian.org/images/cloud/bookworm/latest/debian-12-generic-amd64.qcow2 -P /var/lib/vz/images -o bookworm.qcow2
+wget https://cloud.debian.org/images/cloud/bookworm/latest/debian-12-generic-amd64.qcow2 -P /var/lib/vz/images -O bookworm.qcow2
 sync-nodes
 ```
@@ Ligne 107: / Ligne 338: @@
  - Utiliser libguestfs pour personnaliser les images avec [virt-builder](https://www.libguestfs.org/virt-builder.1.html)
  - ~~Faire en sorte que les VM netplan fonctionnent~~
- - Écrire la routine d'import de VM depuis ganeti
+ - ~~Écrire la routine d'import de VM depuis ganeti~~
  - Automatiser le partage de route (soit via le snippets arn-set-routes.sh, soit via ospf ou ibgp)
- - Pouvoir créer des VM sur un nœud mais depuis un autre nœud
+ - ~~Pouvoir créer des VM sur un nœud mais depuis un autre nœud~~
- - Pouvoir lister les VM de tous les nœuds
+ - ~~Pouvoir lister les VM de tous les nœuds~~
- - Raccorder COIN au cluster pour proposer le bouton provisionner
+ - ~~Raccorder COIN au cluster pour proposer le bouton provisionner~~
- - Ajouter d'autres boutons (redémarrer, rescue, iso, faire évoluer les ressources, stop, start, changer le mot de passe, changer la clé publique)
+ - Ajouter d'autres boutons (~~redémarrer~~, rescue, iso, faire évoluer les ressources, stop, start, changer le mot de passe, changer la clé publique)
  - Renforcer le script pour couper l’exécution en cas d'échecs d'une commande (+ trap)
  - Vérifier les permissions des membres sur proxmox
  - Ajouter le support de la réplication
- - Documenter l'installation d'un nœud
+ - ~~Documenter l'installation d'un nœud~~
  - Utiliser une zone et un Vnet (SDN) à la place d'une interface vmbr1 configurée manuellement sur chaque nœud
  - Revoir le réseau pour éviter de tout faire passer par le switch dédié au backbone
  - Relire des bouts de doc proxmox au cas où on a loupé des choses
  - Utiliser cicustom pour lancer un script finale (install yunohost)
-</markdow
-n>
+</markdown>