Saludos amigos, una semana nueva es una semana con nuevo dashboard, esto es así, me gustaría poder ofreceros muchos más casos de uso, con muchas otras tecnologías, pero el tiempo es muy limitado y apenas tengo algunas noches para preparar esto.
Hoy vamos a ver un tema que he escuchado desde hace al menos 5 años, me refiero a saber y conocer la cantidad de disco que estamos usando, y ahorrando, cuando hacemos uso de tecnologías como ReFS, o XFS, junto a Veeam Backup & Replication.
Una vez hayáis terminado este tutorial, tendréis algo similar a esto, es mejor darle varios días o semanas para ver el potencial entero:
Breve recordatorio sobre ReFS y XFS junto a Veeam Backup & Replication
Se que todos me vais leyendo cuando publico, peor por si acaso se os ha escapado alguna de estas dos entradas, son necesarias para que este Dashboard funcione por supuesto. Tendremos que tener backups, con synthetic backups activados, yendo a un repositorio ReFS o XFS, os dejo el paso a paso aquí:
- Veeam: Repositorios de Backup usando el nuevo Microsoft ReFS que viene incluido en Microsoft Windows Server 2016
- Veeam: Novedades en Veeam Backup & Replication v10 – Repositorios XFS (Reflink) y Fast Clone en Veeam
Topología de REFS/XFS, InfluxDB y Grafana monitorizando uso de disco en Veeam Backup Repositories
Aunque ya os he mostrado en algunas ocasiones el diagrama de cómo sería la monitorización usando Grafana e InfluxDB, os dejo de nuevo el diagrama, esta vez monitorizando los backups en repositorios ReFS/XFS:
Descargar y configurar el script veeam_refs_savings.ps1
Antes de nada, tendremos que descargar el magnífico blockstat.exe de Timothy Dewin, una vez descargado, lo ponemos en una carpeta y lo marcamos como seguro.
Vamos a descargar el script que hará que todo esto funcione en entornos Microsoft Windows ReFS, nos descargaremos la última versión desde el repositorio de Github:
Este script PowerShell, tiene que ejecutarse desde el Veeam Backup Repository donde está habilitado ReFS. Tendremos que editar los parámetros de configuración:
## # Configurations ## # Logical Volume with ReFS enabled $dir = "T:\" # Path to the blockstat.exe and for the output path $exe = "C:\blockstat\blockstat.exe" $listfilepath = "C:\blockstat\in.txt" $outputpath = "C:\blockstat\out.xml" $type="ReFS" # Endpoint URL for InfluxDB $veeamInfluxDBURL="http://YOURINFLUXSERVERIP" #Your InfluxDB Server, http://FQDN or https://FQDN if using SSL $veeamInfluxDBPort="8086" #Default Port $veeamInfluxDB="telegraf" #Default Database $veeamInfluxDBUser="USER" #User for Database $veeamInfluxDBPassword='PASSWORD' | ConvertTo-SecureString -asPlainText -Force
Programando el script PowerShell cada 24 horas
Yo supongo que queréis conocer cada día el consumo de disco, así como cuanto espacio estáis ahorrando usando ReFS, etc. con lo que os voy a enseñar cómo crear una tarea programada cada 24 horas:
En el nombre de la tarea programa, el que os guste más, éste es el mío: 
En los triggers, seleccionaremos que queremos ejecutarla cada 24 horas: 
En las acciones, en program/script, seleccionaremos donde tenemos Powershell, por defecto podéis ver la carpeta aquí, además en arguments seleccionaremos la ruta con el script incluido, y por último en start in, seleccionaremos la carpeta: 
Lo lanzamos y vemos qué sucede:
Si queremos comprobar de manera muy rápida que tenemos información ya en InfluxDB, podemos ir a Grafana Explore y buscar dentro de la tabla veeam_fastclone_stats:
Descargar y configurar el script veeam_xfs_savings.sh
Vamos a descargar el script que hará que todo esto funcione, nos descargaremos la última versión desde el repositorio de Github:
Este script shell, debe ejecutarse desde el servidor donde tenemos el volumen XFS. Tendremos que editar los parámetros de configuración:
## # Configurations ## # Endpoint URL for InfluxDB veeamInfluxDBURL="http://YOURINFLUXSERVERIP" #Your InfluxDB Server, http://FQDN or https://FQDN if using SSL veeamInfluxDBPort="8086" #Default Port veeamInfluxDB="telegraf" #Default Database veeamInfluxDBUser="USER" #User for Database veeamInfluxDBPassword='PASSWORD' #Password for Database veeamXFSMount="/backups/" #Your XFS mount point veeamRepoName="VEEAM-XFS-001" #Your XFS Repo Name in Veeam Backup & Replication Server type="XFS"
Haremos ejecutable el script con este simple paso:
chmod +x veeam_xfs_savings.sh
Nos aseguraremos que tenemos jq instalado, un apt-get install jq o yum install jq si usamos CentOS:
sudo apt-get install jq
Y ya al lanzarlo, con el típico ./veeam_xfs_savings.sh si todo ha ido bien, veremos lo siguiente:
Writing veeam_xfs_savings to InfluxDB HTTP/1.1 204 No Content Content-Type: application/json Request-Id: 98793b48-e51b-11ea-8307-dca632b112f7 X-Influxdb-Build: OSS X-Influxdb-Version: 1.8.2 X-Request-Id: 98793b48-e51b-11ea-8307-dca632b112f7 Date: Sun, 23 Aug 2020 08:35:27 GMT Writing veeam_xfs_savings to InfluxDB HTTP/1.1 204 No Content Content-Type: application/json Request-Id: 9887b0af-e51b-11ea-8308-dca632b112f7 X-Influxdb-Build: OSS X-Influxdb-Version: 1.8.2 X-Request-Id: 9887b0af-e51b-11ea-8308-dca632b112f7 Date: Sun, 23 Aug 2020 08:35:27 GMT
Además, estaría bien meterlo al cron para que se ejecute cada 24 horas:
crontab -e 0 3 * * * /home/oper/veeam_xfs_savings.sh >> /var/log/veeam_xfs_savings.log 2>&1
Ya está todo, vamos al siguiente paso.
Dashboards de Grafana
He creado un Dashboard desde cero seleccionando las mejores peticiones a la base de datos, rematando colores, pensando que gráfica y cómo mostrarla, y además todo está automatizado de manera que encaja con nuestro entorno sin ningún problema y sin tener que editar nada de forma manual. El Dashboard lo podéis encontrar aquí, una vez importado,ya podréis ver todas las gráficas:
Importar los Dashboard de Grafana de manera sencilla
Para que no tengáis que perder horas configurando un nuevo Dashboard, e ingerir y depurar queries, os he creado un maravilloso Dashboard con todo lo necesario para monitorizar nuestro entorno de manera muy sencilla, os quedará como la imagen que os mostré más arriba. Desde nuestro Grafana, haremos Create – Import
Seleccionaremos el nombre que queramos e introduciremos el ID: 12881, que es la ID únicas del Dashboard, o la URL:
Espero que os guste, y me gustaría dejaros la serie completa aquí, para que empecéis a jugar con los plugins que os he ido contando todos estos años:
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte I (Instalando InfluxDB, Telegraf y Grafana)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte II (Instalar agente Telegraf en Nodos remotos Linux)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte III Integración con PRTG
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte IV (Instalar agente Telegraf en Nodos remotos Windows)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte V (Activar inputs específicos, Red, MySQL/MariaDB, Nginx)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte VI (Monitorizando Veeam)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte VII (Monitorizar vSphere)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte VIII (Monitorizando Veeam con Enterprise Manager)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte IX (Monitorizando Zimbra Collaboration)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte X (Grafana Plugins)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XI
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XII – Plugin nativo de Telegraf para vSphere
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIII – Veeam Backup for Microsoft Office 365
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIV – Veeam Availability Console
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XV – Monitorización IPMI de nuestros Hosts ESXi
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XVI – Rendimiento y seguridad avanzada de Veeam Backup for Microsoft Office 365
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XVII – Mostrando los Dashboards en dos monitores usando Raspberry Pi 4
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XVIII – Monitorizar temperatura y estado de Raspberry Pi 4
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIX (Monitorizando Veeam con Enterprise Manager) Shell Script
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XX (Monitorizando Certificados SSL x.509)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXI (Monitorizando HTTP Responses)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXII (Monitorizando Cloudflare con Mapa)
- En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXIII (Monitorizando WordPress con Jetpack RESTful API)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXIV (Monitorizando de Veeam for Microsoft Azure)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXV (Monitorizando Consumo Eléctrico)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVI (Monitorizando Veeam Backup for Nutanix)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVII (Monitorizando ReFS y XFS (block-cloning y reflink)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVIII (Monitorizando HPE StoreOnce)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXIX (Monitorizando PiHole)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXX (Monitorizando Veeam Backup for AWS)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXI (Monitorizando Unifi Protect)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXII (Monitorizando Veeam ONE – experimental)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXIII (Monitorizando NetApp ONTAP)
- En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXIV (Monitorizando Goldshell Miners – JSONv2)
[…] En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVII (Monitorizando ReFS y … […]