VMware: Cómo crear un clúster vSAN de 2 nodos con un vSAN witness appliance

Saludos amigos, todavía tengo pendiente la review del Supermicro SuperServer E300-9D-8CN8TP que Server Factory nos puede enviar a todo Europa a un fantástico precio.

Hoy, y gracias a este nuevo hardware, he dado el siguiente paso y os voy a mostrar cómo crear un clúster vSAN de 2 nodos con un vSAN witness appliance. Ya que este post es bastante denso, os dejo aquí un menú para que podáis saltar a las secciones que más os interesen:

• Hardware necesario en el Laboratorio de VMware
• Topología de Red para el despliegue de la solución
• Creación de Clúster vSAN desde cero
• Configuración de red para clúster vSAN usando Switches Distribuidos (10GbE)
• Descarga, despliegue y configuración del witness appliance
• Configuración del Stretched Cluster
• Conclusión y últimos tests

Hardware necesario en el Laboratorio de VMware

He querido usar los dos Supermicro SuperServer que tengo, que aún siendo diferentes modelos tienen muy buenas especificaciones, para el almacenamiento he usado el mismo modelo y capacidad, aquí un resumen:

• Host 1 – Supermicro Super Server 5028D-TN4T – 128GB RAM
  • Cache Tier vSAN – Samsung MZ-V7E500BW SSD 970 EVO Internal
  • Capacity Tier vSAN – Samsung MZ-76E1T0B/EU 1 TB 860 EVO Sata III 64L V NAND Solid State Drive
• Host 2 – Supermicro SuperServer E300-9D-8CN8TP – 64GB RAM
  • Cache Tier vSAN – Samsung MZ-V7E500BW SSD 970 EVO Internal
  • Capacity Tier vSAN – Samsung MZ-76E1T0B/EU 1 TB 860 EVO Sata III 64L V NAND Solid State Drive
• Witness – VMware vSAN Witness – 2CPU – 16GB RAM corriendo sobre HP MicroServer Gen8
  • Cache Tier vSAN – 10GB
  • Capacity Tier vSAN – 350GB

Si queréis precios de cualquiera de los dos Supermicro aquí mencionados, hacer click aquí y enviar el correo, editar lo que necesitéis.

Topología de Red para el despliegue de la solución

Para la topología de este entorno, he usado las tarjetas de 10GbE que tienen los dos modelos de Supermicro, este nuevo SuperServer E300-9D-8CN8TP y mi viejo amigo SuperServer 5028D-TN4T, y los he unido de tarjeta a tarjeta, sin switch de 10GbE de momento. Además he dedicado varias tarjetas para cada uno de los elementos lógicos que necesito, por ejemplo acceso a mi QNAP (SAN), management de los ESXi, IPMI, y red para las VM, ha quedado algo así:

En este caso el HPE Micro Server Gen8, es donde desplegaremos el witness appliance, que no es ni más ni menos que un ESXi nested, con una licencia especial donde no podemos desplegar VMs, solamente el rol de vSAN.

Creación de Clúster vSAN desde cero

He aprovechado que VMware vSphere 6.7 U2 está ya listo y fuera, para crear un clúster desde cero, con los dos ESXi ya actualizados a vSphere 6.7 U2.

Tan sencillo cómo lanzar el instalador del VCSA, seleccionar que queremos un nuevo clúster, y marcar la opción de instalar VCSA sobre un nuevo vSAN clúster, e introducir el nombre directamente:

Seleccionaremos qué discos queremos para Cache Tier y cual para Capacity tier y haremos click en next:

El proceso terminará de manera satisfactoria y podremos irnos ya a nuestro VCSA y acceder al vSphere Client:

Añadiremos el otro host al clúster, como vemos a continuación:

Y nos solicitará seleccionar qué discos son de Caché tier y cuales de Capacity Tier, exactamente igual que antes:

Si nos vamos hasta Clúster – Monitor – vSAN – Physical Disks, ya podremos ver todo aplicado de manera satisfactoria:

Ya hemos terminado la configuración de los discos y Hosts dentro del clúster de vSAN, vamos a ver la configuración de red.

Configuración de red para clúster vSAN usando Switches Distribuidos (10GbE)

En mi laboratorio me gusta usar switches distribuidos, ya que VMware nos da una licencia de vSphere Enterprise Plus a cada vExpert, pero estos pasos se podrían realizar con switches simples, recordemos qué lo más importante es que los dos servers tengan una interfaz de las de 10GbE conectada entre ellos, aquí los pasos:

Crearemos un nuevo Switch Distribuido:

En mi caso he seleccionado del tipo 6.6.0, que es ESXi 6.7 o superior He seleccionado un único uplink, ya que tenemos un cable solamente conectado entre los Hosts: Y una vez tenemos todo, haremos click en Finish: Añadiremos ahora los Hosts a este nuevo Switch Distribuido:

Seleccionaremos la opción llamada Add Hosts: Añadiremos los dos Supermicro SuperServer: Y nos aseguraremos que presentamos la vmnic de 10GbE que tenemos conectada entre ellos: Seleccionaremos la MTU de 9000 y dejaremos el resto por defecto: Cómo es lógico, habrá que crear también un VMkernel por cada host ESXi, dentro del Switch Distribuido: Nos aseguraremos que marcamos vMotion y vSAN, además de darle una IP estática: Y si hemos realizado todos los pasos bien, podremos ver el siguiente resultado: Para comprobar de manera rápida si todo funciona de manera satisfactoria, podremos hacer un ping al otro host, usando el parámetro para ver si los Jumboframes funcionan:

vmkping -d -s 8972 192.168.200.65
PING 192.168.200.65 (192.168.200.65): 8972 data bytes
8980 bytes from 192.168.200.65: icmp_seq=0 ttl=64 time=0.407 ms
8980 bytes from 192.168.200.65: icmp_seq=1 ttl=64 time=0.493 ms
8980 bytes from 192.168.200.65: icmp_seq=2 ttl=64 time=0.667 ms

--- 192.168.200.65 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.407/0.522/0.667 ms

Truco: Por un motivo que desconozco, las interfaces de 10GbE parecen no conectarse cuando se enciende el servidor, o si lo hacen se conectan a 1GbE, con lo que con realizar esto en ambos servers será suficiente para hacer que los 10GbE funcionen:

esxcli network nic down -n LA_NIC_DE_10GBE
esxcli network nic up -n LA_NIC_DE_10GBE

Si quisiéramos podríamos forzar las interfaces a 10GbE por comando, pero no es necesario:

esxcli network nic set --speed 10000 --duplex full -n LA_NIC_DE_10GBE

Ya está todo listo en la parte de red entre los dos servidores físicos, vamos a configurar el witness.

Descarga, despliegue y configuración del witness appliance

Para configurar nuestro clúster usando un witness appliance, podremos irnos a la web de VMware, y realizar la descarga desde allí de la imagen OVA, de apenas 500MB:

Una vez desplegamos el OVA, en mi caso el resumen ha quedado de la siguiente manera:

Una vez configurada la tarjeta de red de management, podremos ver que el appliance se trata realmente de un ESXi de manera nested:

Este vSAN witness tiene dos tarjetas de red virtuales, una para Management y otra para las funciones de Witness, como al final lo he desplegado en un Host (recordar el HPE MicroServer) que no tiene 10GbE, ni siquiera está conectado a la red 10GbE de vSAN, tendremos que marcar el VMkernel 0 como tráfico vSAN y marcarlo como witness.

Para ello, desde SSH, en este host y en el VMkernel de Management, mi red 192.168.1.x, ejecutaremos lo siguiente:

esxcli vsan network ip add -i vmk0 -T=witness

Como podréis imaginar esto hay que realizarlo también los otros dos nodos, en la red 192.168.1.x que ahora usaremos para tráfico witness también, ya que mis Supermicro usan el VMkernel 0 para el tráfico de 192.168.1.x hay que lanzar el mismo comando que anteriormente en estos hosts también, por SSH.

Si todo ha ido bien, en cualquiera de los Supermicro lanzaremos el siguiente comando, que nos devolverá algo similar a esto:

esxcli vsan network list
Interface
   VmkNic Name: vmk1
   IP Protocol: IP
   Interface UUID: d580be5c-9a3b-3c8c-2a31-002590b8fa10
   Agent Group Multicast Address: 224.2.3.4
   Agent Group IPv6 Multicast Address: ff19::2:3:4
   Agent Group Multicast Port: 23451
   Master Group Multicast Address: 224.1.2.3
   Master Group IPv6 Multicast Address: ff19::1:2:3
   Master Group Multicast Port: 12345
   Host Unicast Channel Bound Port: 12321
   Multicast TTL: 5
   Traffic Type: vsan

Interface
   VmkNic Name: vmk0
   IP Protocol: IP
   Interface UUID: e248bf5c-e6c3-baa9-cde1-002590b8fa10
   Agent Group Multicast Address: 224.2.3.4
   Agent Group IPv6 Multicast Address: ff19::2:3:4
   Agent Group Multicast Port: 23451
   Master Group Multicast Address: 224.1.2.3
   Master Group IPv6 Multicast Address: ff19::1:2:3
   Master Group Multicast Port: 12345
   Host Unicast Channel Bound Port: 12321
   Multicast TTL: 5
   Traffic Type: witness

Ya tenemos todo listo dentro del vSAN witness, pero aún nos queda añadirlo a nuestro vCenter, ¡es importante no añadirlo al clúster de vSAN! Simplemente como Host Standalone en nuestro vCenter será suficiente, dato curioso cuando añadimos el Host, ya viene con su propia licencia:

Con esto ya tendremos el vSAN witness dentro de nuestro vCenter, con la red configurada y todo bien, podemos comenzar a configurar el Stretched Cluster de vSAN.

Configuración del Stretched Cluster

Ya estamos en la penúltima sección, y llega el momento de lo bueno, desde nuestro Clúster nos iremos hasta Configure – vSAN – Fault Domains – Configure:

Seleccionaremos qué nodo queremos que es primario y cuál secundario:

Seleccionaremos ahora nuestro witness host, que suele tener un iconito azulado en ves del gris tradicional:

Seleccionaremos los discos de vSAN Caché Tier y Capacity Tier para el vSAN witness:

Si el resumen nos cuadra, y está todo bien, haremos click en Finish:

Si todo ha ido bien, pasados unos segundos, podremos ver el siguiente resultado:

Pasados unos minutos, y después de que se hayan pasado todos los tests de manera satisfactoria, de manera automática, podremos ver el estado de nuestro clúster vSAN:

Todo está en verde, controladoras, discos, networking, absolutamente todo. Y así es como nos gusta que esté.

Nota: Es muy probable que tengáis que actualizar el vSAN Witness a 6.7 U2 usando o bien el VUM o el online depot, ya que la versión en la web no incluye 6.7 U2 todavía.

Conclusión y últimos tests

Por último me gustaría lanzar un vMotion de un componente tan crítico como es el VCSA por ejemplo, podemos ver la velocidad con la que se transfiere sin perder ni un solo paquete de ping:

Mi conclusión es que vSAN es lo mejor que le ha pasado a VMware desde hace mucho tiempo, el tener todo este potencial incluido en el código de ESXi, que ya de por sí es eficiente y muy ligero, es maravilloso. A la vez de poder desplegar almacenamiento de manera protegida, eficiente, en HCI, es un acierto total.

Incluso en un pequeño laboratorio como es el mío el rendimiento y flexibilidad es palpable, con lo que en producción esta tecnología vuela.

Por último agradecer a Chris, ya que su tutorial paso a paso me motivó e inspiró a adquirir el Hardware que me hacía falta para tener este entorno.