Distribución de imagenes de disco con Clonezilla y Netboot (iPXE)

Inicio | Crea tu IoT Gateway | Soluciones acceso remoto | Hardware para GW IoT

El objetivo es arrancar nuestro IoT Gateway con un arranque por red usando iPXE (Preboot Execution Environment) y gracias a los menús de arranque poder hacer una imagen del disco, o restaurarla, usando Clonezilla.

Vídeos

Esquema del proceso

Descripción del proceso

1. Arrancar IoT GW usando el arranque por red.
2. El servidor HTTP server le servirá un menú de arranque.
3. El usuario, decide que acción quiere realizar (clonar el disco, o restaurar). Seguidamente se le preguntará por el hostname del ordenador sobre el que quiere actuar.
4. Seguidamente el IoT GW le pedirá al servidor HTTP el Kernel (fichero, vmlinuz), para que arrancar. Además del fichero initrd, primer proceso del sistema, y el squashfs donde hay la raíz del disco con todos los ficheros de sistema.
5. Los startup scripts; son unos simples shell scripts que se descargan del HTTP server y que se ejecutan en cadena. Los archivos se obtienen en formato TAR + GZIP (.tgz) y se descomprimen dentro del directorio /opt en el siguiente orden.
   1. Primero se descarga un fichero llamado boot.tgz y se descomprime en /opt
      Este paquet tiene estos ficheros:

      YAMLCopiar

      boot.config: define variables necesarias para los siguientes scripts
      mount.sh: mounta del NAS el repositorio donde se localizan las imagenes del disco para ese hostname.
      backup.sh: lanza el proceso de clonado de clonezilla
      restore.sh: lanza el proceso de restauración de clonezilla

   2. Después otro fichero llamado hostname_del_ordenador.tgz y se descomprime en /opt
      Solo hay un fichero en este paquete:

      YAMLCopiar

      hostname_del_ordenador.config: contiene la variable con el nombre de dispositivo (disco) a copiar/clonar o a donde restaurar.

   3. Seguidamente el fichero /etc/rc.local se encarga de ejecutar la acción seleccionada en el menú de arranque.
      1. Primero, se ejecuta mount.sh para montar el respositorio de las copias para ese host.
         En nuestro caso este montaje se hace a través del SSHFS.
      2. Seguidamente en función de la acción escogida en el menú de arranque se lanzará backup.sh o restore.sh
         Para saber cual de los dos scripts hay que lanzar nos fijaremos en el parámetro del kernel llamado clonezilla
         
         
         Echando un vistazo al fichero /etc/rc.local se puede entender la explicación anterior de una forma más precisa:

         BashCopiar

         #!/bin/bash
         
         ACTION=$(cat /proc/cmdline | tr ' ' '\n' | grep clonezilla | cut -f 2 -d '=')
         cd /opt
         ./mount.sh && ./${ACTION}.sh

6. En este punto ya podemos ejecutar Clonzilla para hacer la copia/clonar el disco, o restuarar una imagen. Recordemos que partimos de un escenario donde hay un Linux corriendo en RAM, en el que en un directorio del sistema de ficheros tenemos montado por SSHFS el repositorio donde colocar la imagen de la copia del disco o desde donde restaurar la imagen.
   El fichero de copia backup.sh, tiene esta pinta:

   BashCopiar

   #!/bin/bash
   source /opt/boot.config
   source /opt/${MAQUINA_ID}.config
   
   ocs-sr -senc -noabo -fsck-y -gs -z1p -sc savedisk ${MAQUINA_ID} ${DISK}
   

   Detalles del comando de clonezilla y sus parámetros:

   • ocs-sr: Herramienta de línea de comandos para guardar o restaurar una imagen de disco o partición.
   • senc: Omite la encriptación de la imagen con una frase de paso.
   • noabo: Hace que la imagen de la partición pueda ser accedida por otros usuarios, no solo por el propietario, cambiando los permisos de acceso del archivo de imagen.
   • fsck-y: Ejecuta fsck automáticamente en el sistema de archivos fuente antes de guardarlo. Esta opción intentará corregir automáticamente cualquier corrupción detectada en el sistema de archivos sin pedir confirmación.
   • gs: Genera el checksum SHA1 para la imagen. Esto es útil para verificar la integridad de la imagen al restaurarla, aunque se señala que puede llevar bastante tiempo si el tamaño de la imagen es grande.
   • z1p: Comprime la imagen usando gzip en paralelo (pigz) durante el proceso de guardado. Esta opción es adecuada para aprovechar múltiples núcleos o CPUs, ofreciendo una compresión rápida y eficiente.
   • sc: Omite la verificación de si la imagen puede ser restaurada después de ser creada. Por defecto, Clonezilla verificaría esto, pero con este parámetro, esa verificación se salta.
   • savedisk: Indica que la operación guardará un disco entero en un archivo de imagen.
   • ${MAQUINA_ID}: Sería el identificador de la máquina o el nombre de la imagen bajo la cual se guardará el disco. Este parámetro especifica cómo se nombrará la carpeta de la imagen dentro de /home/partimag.
   • ${DISK}: El nombre del disco que se va a clonar o guardar. Este puede ser, por ejemplo, sda, y no necesita incluir el prefijo /dev/.

   Este comando, en resumen, inicia un proceso para guardar un disco completo (savedisk) en una imagen, omitiendo la encriptación de la imagen, cambiando los permisos para que otros usuarios puedan acceder a la imagen, verificando y corrigiendo automáticamente cualquier error en el sistema de archivos del disco fuente, generando un checksum SHA1 para la imagen, comprimiendo la imagen con gzip en paralelo para una mayor eficiencia, y omitiendo la verificación post-guardado sobre la capacidad de restauración de la imagen.
   Y el script de restauracion restore.sh, tiene este contenido:

   BashCopiar

   #!/bin/bash
   source /opt/boot.config
   source /opt/${MAQUINA_ID}.config
   
   ocs-sr -e1 auto -e2 -r -j2 -scr -p reboot restoredisk ${MAQUINA_ID} ${DISK}

   Detalles del comando y sus parámetros:

   • ocs-sr: Herramienta de línea de comandos utilizada para guardar o restaurar una imagen de disco o partición.
   • e1 auto: Fuerza el cambio de los valores CHS (cilindros, cabezas, sectores) de la partición de arranque NTFS después de que se restaure la imagen, si "auto" está asignado, Clonezilla detectará automáticamente la partición de arranque NTFS.
   • e2: Fuerza el uso de los valores CHS (cilindros, cabezas, sectores) desde EDD (Enhanced Disk Device) al crear la tabla de particiones con sfdisk.
   • r: Redimensiona la partición cuando finaliza la restauración, ajustando el tamaño del sistema de archivos para que se ajuste al tamaño de la partición. Es útil cuando una imagen de una partición pequeña se restaura en una partición más grande.
   • j2: Utiliza dd para clonar la imagen de los datos entre el MBR (primer sector, es decir, 512 bytes) y la primera partición, lo cual puede ser útil para algunas herramientas de recuperación. Este parámetro solo funciona en el modo restoredisk, no en restoreparts.
   • scr: Omite la verificación de si la imagen es restaurable antes de restaurarla. Por defecto, Clonezilla realizaría esta verificación.
   • p reboot: Especifica que la máquina se reiniciará automáticamente después de que finalice la restauración de la imagen.
   • restoredisk: Indica que la operación restaurará un disco completo desde un archivo de imagen.
   • ${MAQUINA_ID}: Sería el identificador de la máquina o el nombre de la imagen que se va a restaurar. Este parámetro especifica el nombre de la carpeta de la imagen dentro de /home/partimag que se usará para la restauración.
   • ${DISK}: El nombre del disco al que se va a restaurar la imagen, por ejemplo, sda. Este puede ser con o sin el prefijo /dev/.

   Este comando inicia un proceso para restaurar un disco completo desde una imagen específica, ajustando automáticamente los valores CHS si es necesario, redimensionando la partición para que coincida con el tamaño del sistema de archivos, clonando datos ocultos que podrían ser importantes para algunas herramientas de recuperación, y omitiendo la verificación previa de restauración para agilizar el proceso. Al finalizar, el sistema se reiniciará automáticamente.

Configuración DHCP para arrancar con iPXE

1. La primera depende totalmente de la BIOS del IoT Gateway y en esta no podemos ayudaros mucho, en esencia hay que decirle a la secuencia de arranque que debe empezar buscando un arranque en red.
2. Seguidamente hay que tener configurado el servidor DHCP adecuadamente, otro tema que dependerá mucho del servidor DHCP que estemos usando. A cotinuación se describe como se debe configurar isc-dhcp-server para Ubuntu 22.04.
   Para ser concretos nos interesa configurar la opción filename.

   • filename: se puede configurar la ruta del menu de arranque, fichero *.ipxe, con diferentes protocolos. Nosotros hemos usado HTTP para indicar donde se encuentra el servidor HTTP server del esquema inicial. La peculiaridad es que esto nos permitiría tener este servidor fuera de la LAN, gracias a que ya tenemos el stack IP configurado.
   Ejemplo,

   BashCopiar

   subnet 10.147.18.0 netmask 255.255.255.0 {
     range 10.147.18.25 10.147.18.50;       # Change this range as appropriate for your network
     option subnet-mask 255.255.255.0;
     option routers 10.147.18.99;           # Change this to the address of your router
     option broadcast-address 10.147.18.255;
     option domain-name "mynetwork.lan";    # This is optional
     option domain-name-servers 8.8.8.8;
     filename "http://example.tld/uri/menu.ipxe";
   }

Instalación HTTP server

version: '3.9'
services:
	netboot:
		image: p3terx/darkhttpd
		container_name: netboot
		restart: unless-stopped
		volumes:
		- './assets:/www:ro'
		entrypoint: ["/darkhttpd","/www"]
    ports:
      - 80:80

Menús iPXE

• menu.ipxe → definición principal del menú
• about.ipxe → información sobre la versión del menú
• netinfo.ipxe → información de la configuración de red recibida en este punto
• version.ipxe → información sobre la versión de netboot

Obtención del hostname

...
echo Please, tell the machine name: (ex. m5)
read maquina_id
...

Recuperación de parámetros de arranque

...

:clonezilla-boot
imgfree
echo Please, tell the machine name: (ex. m5)
read maquina_id
set ocs_params ocs_live_run="sudo /etc/rc.local"
set extra_params maquina_id=${maquina_id}
set ocs_preload1 ocs_preload1=${live_endpoint}/boot.tgz 
set ocs_preload2 ocs_preload2=${live_endpoint}/${maquina_id}.tgz
set path /debian-squash/releases/download/3.1.2-9-80072992/
set url ${live_endpoint}${path}
kernel ${url}vmlinuz boot=live username=user union=overlay config components noswap edd=on nomodeset keyboard-layouts=es locales=en_US.UTF-8 ${ocs_params} ${extra_params} ${ocs_preload1} ${ocs_preload2} ${clonezilla} ocs_live_batch=no ocs_screen_blank="no" net.ifnames=0 nosplash noprompt fetch=${url}filesystem.squashfs initrd=initrd.magic loglevel=3 ${cmdline} 
initrd ${url}initrd
boot

...

• set ocs_params ocs_live_run="sudo /etc/rc.local" - fichero a ejeuctar al arrancar
• set extra_params maquina_id=${maquina_id} - el nombre de la máquina
• set ocs_preload1 ocs_preload1=${live_endpoint}/boot.tgz - scripts de copia y restauración que se descomprimirán en /opt
• set ocs_preload2 ocs_preload2=${live_endpoint}/${maquina_id}.tgz - configuraciones particulares que se descomprimiran en /opt
• set path /debian-squash/releases/download/3.1.2-9-80072992/ - ruta donde se encuentran en kernel, initrd y filesystem.squash
• set url ${live_endpoint}${path} - URL completa desde donde descargar los ficheros

kernel ${url}vmlinuz boot=live username=user union=overlay config components noswap edd=on nomodeset keyboard-layouts=es locales=en_US.UTF-8 ${ocs_params} ${extra_params} ${ocs_preload1} ${ocs_preload2} ${clonezilla} ocs_live_batch=no ocs_screen_blank="no" net.ifnames=0 nosplash noprompt fetch=${url}filesystem.squashfs initrd=initrd.magic loglevel=3 ${cmdline} 

cat /proc/cmdline | tr ' ' '\n' | grep maquina_id= | cut -f 2 -d '='

Cambios en el squashfs original

Paquetes añadidos: btop y byobu

• btop - ideal para observar el rendimiento de la máquina
• byobu - muy cómodo para dejar procesos corriendo sin que se interrumpan al perder la conexión, además de poder compartir consola. Muy útil para soporte remoto.

Cambios relativos al SSH

• Añadido el servicio de sistema para que este siempre corriendo.
• Se permite acceso a root remotamente.
• Se asigna contraseña de root que por defecto no había.
• Se añaden claves públicas de los administradores en ~/.ssh/authorized_keys.

Servicio rc.local

• Añadido nuevo servicio de sistema para ejecutar comandos a medida al arrancar.

Modificaciones en /etc/profile

• Definida variable de entorno MAQUINA_ID con el hostname de la máquina
• Se usa esta variable para cambiar el nombre de la máquina live, así se hace más cómodo saber con que máquina se esta interactuando.

Como se introducen cambios en un sistema de ficheros squash

apt install -y squashfs-tools
cd clonezilla
sudo unsquashfs filesystem.squashfs

sudo mount --bind /dev squashfs-root/dev
sudo mount --bind /proc squashfs-root/proc
sudo mount --bind /sys squashfs-root/sys
sudo chroot squashfs-root

# inside chroot, run:
exit
# when chroot exits, run:
sudo umount -l squashfs-root/dev
sudo umount -l squashfs-root/proc
sudo umount -l squashfs-root/sys

sudo mksquashfs squashfs-root filesystem.squashfs -b 1024k -comp xz -Xbcj x86 -e boot

Script que se ejecuta post-booting rc.local

#!/bin/bash

ACTION=$(cat /proc/cmdline | tr ' ' '\n' | grep clonezilla= | cut -f 2 -d '=')
cd /opt
./mount.sh && ./${ACTION}.sh

Montaje del repositorio mount.sh

#!/bin/bash
source /opt/boot.config
source /opt/${MAQUINA_ID}.config

mkdir -p /home/partimag/${MAQUINA_ID}
sshfs ${SSHFS} ${DESTPATH} -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o Compression=no
if [ $? -ne 0 ];
then
  echo "Error mounting backup"
  exit 1;
fi

echo "Backup mount point: ${DESTPATH}"
exit 0

Copia y restauración del disco, scripts: backup.sh y restore.sh

backup.sh

#!/bin/bash
source /opt/boot.config
source /opt/${MAQUINA_ID}.config

ocs-sr -senc -noabo -fsck-y -gs -z1p -sc savedisk ${MAQUINA_ID} ${DISK}

restore.sh

#!/bin/bash
source /opt/boot.config
source /opt/${MAQUINA_ID}.config

ocs-sr -e1 auto -e2 -r -j2 -scr -p reboot restoredisk ${MAQUINA_ID} ${DISK}

Ficheros de configuración para boot.tgz y <hostname>.tgz

Una vez creados los ficheros, desde dentro del directorio boot, se puede ejecutar el siguiente comando:

BashCopiar

cd boot
rm ../boot.tgz || tar cvfz ../boot.tgz .

Aquí hay un ejemplo de como debería quedar el paquete.

📎 boot.tgz 0.6KB

Una vez creados los ficheros, desde dentro del directorio boot, se puede ejecutar el siguiente comando:

BashCopiar

cd m5
rm ../m5.tgz || tar cvfz ../m5.tgz .

Aquí hay un ejemplo de como debería quedar el paquete.

📎 m5.tgz 0.2KB

Conclusión

Recursos

• netboot.xyz
• linuxserver.io - netboot.xyz
• Referencia de comandos para menú iPXE
• Clonezilla booting parameters