Saludos amigos, después de tantos años contando todas las posibilidades Grafana, InfluxDB y Telegraf, he caído en la cuenta de que nunca hemos tratado el tema de las notificaciones, para que Grafana nos alerte cuando un valor supera determinado umbral.
Grafana tiene varios métodos de enviar notificaciones, Email, Slack y muchas otras que podéis ver aquí:
Yo voy a usar la añeja, pero eficaz, notificación por correo electrónico.
Configuración de alias en Microsoft Office 365
Para poder enviar y recibir correos por Microsoft Office 365, lo mejor es usar un alias, de esta manera podemos luego crear filtros de una manera más sencilla, además que no tienen coste en Microsoft Office 365, con lo que es perfecto, en mi caso he creado el alias [email protected], veamos cómo:
En el menú superior izquierdo haremos click en Admin, posteriormente en Active users – Edit a user y luego en Username/Email Aliases click en Edit
Añadiremos el alias que queramos, en mi caso como os dije [email protected]:
Configuración del fichero de configuración grafana.ini con nuestros datos de Office 365
Tendremos que editar nuestro fichero de configuración de Grafana, en mi caso lo tengo en /etc/grafana/grafana.ini, si buscamos la sección de SMTP, podremos encontrar algo como esto, tendremos que descomentarlo, poner enabled en true y nuestros datos:
#################################### SMTP / Emailing ########################## [smtp] enabled = true host = smtp.office365.com:587 user = VUESTRACUENTADEOFFICE365 password = VUESTRAPASS ;cert_file = ;key_file = skip_verify = true from_address = [email protected]
Una vez hemos puesto nuestros datos correctamente, reiniciaremos el servicio de Grafana:
service grafana-server restart
Configuración de nuestras alarmas en Grafana
Ahora que tenemos ya todo listo, podremos irnos a nuestro Grafana, y en el menú de la izquierda podremos hacer click en Alerting – Add channel:
He seleccionado Email, puesto un nombre, y marcado las opciones como podéis ver aquí, he testeado todo y ha salido en verde: 
Si miramos en el /var/log/grafana/grafana.log podremos ver lo siguiente:
t=2019-06-20T03:48:30-0500 lvl=info msg="Sending alert notification to" logger=alerting.notifier.email addresses=[[email protected]]
Si nos vamos a nuestro flamante Exchange Online, podremos ver la alarma de prueba, que es realmente hermosa:
Perfecto, ahora que tenemos la configuración de Grafana, podemos irnos a nuestros Dashboards a crear alarmas de nuestras métricas.
Dos temas importantes, no todas las maneras de mostrar métricas nos permiten notificaciones, por ejemplo el singlestat no lo permite, pero las gráficas de la derecha si, asique usaremos esas.
El otro punto a tener en cuenta es que no podemos usar variables para las notificaciones, ahora os lo muestro, podemos ver que para tener notificación, no podremos usar variable, sino el host directamente en este caso (esta es mi consulta A)
Editaremos la gráfica:
En la gráfica de la que quiero notificación, iremos hasta alertas, y Create Alert: 
Podemos ver varios temas aquí, primero el intervalo hasta que nos envia la alarma, si he puesto que compruebe cada 1 minuto por hasta 5 minutos, esto quiere decir que si tengo una temperatura de 70C por mas de 5 minutos tendre alarma, podemos testarla:
Una vez tenemos la alarma, ya podremos ver el corazoncito monitorizandolo, si se pone verde, todo está bien, si se pone rojo y se rompe es que hay problemas: 
He bajado la temperatura de alarma a 40C para ver si llegaba, y aquí podemos ver el bonito email que me ha llegado de esta notificación: 
Además ahora la gráfica ya muestra el corazón roto arriba, además de mostrar dos líneas verticales con el warning y la alerta, y su valor: 
Podríamos añadir el menú de alertas y colocarlo en algún lugar de nuestro dashboard, para tener todo junto, quedaría tal que así: 
Por último, aquí tenéis el email de cuando la temperatura a vuelto a un cauce por debajo del intervalo de alarma: 
Nada más amigos, espero que os guste, y os sea de utilidad.
Leave a Reply