En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIX (Monitorizando Zimbra Collaboration usando output oficiales)

Saludos amigos, en Agosto de 2017 os mostraba cómo monitorizar vuestro entorno de Zimbra Collaboration, tuvo mucho éxito y muchas descargas, más de 600, pero si bien es cierto que funcionaba sin problema, en entornos muy grande con cientos o miles de usuarios podría ralentizar la MTA, al tener que leer todo usando el script de perl.

NOTA: Antes de realizar ninguna operación, os recomiendo tener un backup con Zextras, que se puede obtener una trial de manera gratuita usando el link, para curarnos en salud.

Pues bien, hoy traigo buenas noticias, ya que telegraf tiene desde hace un tiempo dos nuevos output, uno para OpenLDAP, y otro para Postfix, con lo que usando de manera nativa estos dos plugins, podemos tener una monitorización muy detallada de nuestros entornos, de manera más eficiente.

Al terminar este Blog post podrás tener un Dashboard similar a este:

Como siempre, si lo desplegáis, por favor comentar por si hay que modificar algo.

Topología de la Infraestructura

Para los más despistados, os dejo la topología seguida en este diseño, en ella tenemos:

• El entorno Zimbra Collaboration en la izquierda de la imagen, con el agente de Telegraf que recopila información que le pasamos mediante scripts
• La base de datos InfluxDB donde se almacenan todas estas métricas que recibe desde Telegraf
• El Dashboard Grafana que muestra la información almacenada en InfluxDB

Script para recopilar información de Zimbra Collaboration

Para recopilar información de Zimbra Collaboration, en concreto la versión del mismo, he usado un script que tenéis en GitHub, y con él he modificado el output para que sea en formato InfluxDB.

Nos iremos, como usuario root, a /opt/zimbra/common/bin y descargaremos el fichero llamado checkzimbraversion.sh, tendremos que otorgarle permisos de ejecución:

chmod +x /opt/zimbra/common/bin/checkzimbraversion.sh

Configuración de Telegraf en los agentes Zimbra Collaboration

En los servidores de Zimbra Collaboration tendremos que instalar Telegraf, tienes todos los pasos en el siguiente Blog post, una vez tengamos Telegraf instalado, tendremos que configurar nuestros Scripts adicionales.

Recomiendo crear un fichero en la siguiente ruta /etc/telegraf.d/zimbra.conf y allí pegar todo lo que os dejo a continuación, así luce mi fichero con todo lo relacionado a monitorizar Zimbra y los demás para monitorizar el estado del servidor:

[[inputs.cpu]]
  percpu = true
  totalcpu = true
  fielddrop = ["time_*"]

[[inputs.disk]]
  ignore_fs = ["tmpfs", "devtmpfs"]

[[inputs.diskio]]

[[inputs.kernel]]

[[inputs.mem]]

[[inputs.processes]]

[[inputs.swap]]

[[inputs.system]]

[[inputs.procstat]]
  exe = "memcached"
  prefix = "memcached"

[[inputs.procstat]]
  exe = "java"
  prefix = "java"

[[inputs.procstat]]
  exe = "mysqld"
  prefix = "mysqld"

[[inputs.procstat]]
  exe = "slapd"
  prefix = "slapd"

[[inputs.procstat]]
  exe = "nginx"
  prefix = "nginx"

[[inputs.net]]

[[inputs.exec]]
  commands = ["/opt/zimbra/common/bin/checkzimbraversion.sh"]
  name_override = "zimbra_stats"
  data_format = "value"
  data_type = "string

Monitorización de OpenLDAP con InfluxDB, Telegraf y Grafana

Además, como os mencionaba, queremos monitorizar OpenLDAP, para ello, tendremos que conocer la password del LDAP, que podemos encontrar ejecutando este comando como usuario zimbra desde SSH:

zmlocalconfig -s zimbra_ldap_password ldap_master_url

Ahora, en el fichero que hemos creado anteriormente /etc/telegraf.d/zimbra.conf, añadir al final lo siguiente:

 [[inputs.openldap]]
   host = "TUFQDNDETUSERVERZIMBRA"
   port = 389
   insecure_skip_verify = true
   bind_dn = "uid=zimbra,cn=admins,cn=zimbra"
   bind_password = "TULDAPPASSWORD"
   reverse_metric_names = true

Monitorización de las colas de Postfix con InfluxDB, Telegraf y Grafana

Además, como os mencionaba, queremos monitorizar Postfix también, las colas de correo, para ello, tendremos que conocer la ruta del spool, que en Zimbra se encuenta en la siguiente ruta – /opt/zimbra/data/postfix/spool si hacemos un ls podremos ver todas las colas:

ls -la /opt/zimbra/data/postfix/spool
total 72
drwxr-xr-x  16 root    root      4096 Sep 19 00:31 .
drwxr-xr-x   4 postfix zimbra    4096 Sep 19 00:22 ..
drwxr-s---+  2 postfix telegraf  4096 Sep 22 22:50 active
drwx------   2 postfix root      4096 Sep 19 00:31 bounce
drwx------   2 postfix root      4096 Sep 19 00:31 corrupt
drwx------  18 postfix root      4096 Sep 20 14:20 defer
drwxr-s---+ 18 postfix telegraf  4096 Sep 20 14:20 deferred
drwx------   2 postfix root      4096 Sep 19 00:31 flush
drwxr-s---+  2 postfix telegraf  4096 Sep 19 00:31 hold
drwxr-s---+  2 postfix telegraf  4096 Sep 22 22:50 incoming
drwxrwx---   2 postfix postdrop 12288 Sep 22 20:36 maildrop
drwxr-xr-x   2 postfix root      4096 Sep 19 19:41 pid
drwx------   2 postfix root      4096 Sep 22 20:17 private
drwx--x---   2 postfix postdrop  4096 Sep 22 20:17 public
drwx------   2 postfix root      4096 Sep 19 00:31 saved
drwx------   2 postfix root      4096 Sep 19 00:31 trace

Ahora, en el fichero que hemos creado anteriormente /etc/telegraf.d/zimbra.conf, añadir al final lo siguiente:

 [[inputs.postfix]]
    queue_directory = "/opt/zimbra/data/postfix/spool"
    interval = "1s"

Y como root, modificar lo siguiente para que telegraf tenga acceso a ellas:

sudo chgrp -R telegraf /opt/zimbra/data/postfix/spool/{active,hold,incoming,deferred}
sudo chmod -R g+rXs /opt/zimbra/data/postfix/spool/{active,hold,incoming,deferred}
sudo usermod -a -G postdrop telegraf
sudo chmod g+r /opt/zimbra/data/postfix/spool/maildrop

Una vez realizado esto, podremos realizar un reinicio del servicio:

service telegraf restart

Comprobando que estamos ingiriendo información con Chronograf

Lo normal a estas alturas, si hemos realizado bien todos los pasos, es que ya estemos mandando información recopilada por el script hacía InfluxDB, si realizamos una búsqueda usando el maravilloso Chronograf, podremos comprobar que tenemos información:

Todas las variables de estos dos outputs y el script se guardan o bien en zimbra_stats, o en postfix_queue o en openldap, con lo que es realmente sencillo encontrarlas.

Importando el Dashboard en Grafana

Para haceros la vida más sencilla, os dejo el .json de Grafana ya listo para ser importado, podéis descargarlo desde aquí:

• https://grafana.com/dashboards/2846/

Quiero agradecer el trabajo de Lex Rivera, que es el creador del resto del Dashboard para las métricas de Linux, CPU, Disco, RAM, etc.

Los pasos para importarlos son los siguientes, irnos hasta nuestros Dashboards, y presionar Import:

Nos aparecerá la siguiente pantalla, y podremos o bien subir el fichero .json descargado, o bien introducir el ID del Dashboard de Zimbra: 2846, nos aparecerá automáticamente lo siguiente, seleccionamos nuestro datasource y le damos a Import.

Después de tan solo unos minutos ya podremos empezar a ver un Dashboard lleno de vida como es el siguiente:

Espero que os guste, y me gustaría dejaros la serie completa aquí, para que empecéis a jugar con los plugins que os he ido contando todos estos años:

• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte I (Instalando InfluxDB, Telegraf y Grafana)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte II (Instalar agente Telegraf en Nodos remotos Linux)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte III Integración con PRTG
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte IV (Instalar agente Telegraf en Nodos remotos Windows)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte V (Activar inputs específicos, Red, MySQL/MariaDB, Nginx)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte VI (Monitorizando Veeam)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte VII (Monitorizar vSphere)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte VIII (Monitorizando Veeam con Enterprise Manager)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte IX (Monitorizando Zimbra Collaboration)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte X (Grafana Plugins)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XI
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XII – Plugin nativo de Telegraf para vSphere
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIII – Veeam Backup for Microsoft Office 365
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIV – Veeam Availability Console
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XV – Monitorización IPMI de nuestros Hosts ESXi
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XVI – Rendimiento y seguridad avanzada de Veeam Backup for Microsoft Office 365
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XVII – Mostrando los Dashboards en dos monitores usando Raspberry Pi 4
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XVIII – Monitorizar temperatura y estado de Raspberry Pi 4
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XIX (Monitorizando Veeam con Enterprise Manager) Shell Script
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XX (Monitorizando Certificados SSL x.509)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXI (Monitorizando HTTP Responses)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXII (Monitorizando Cloudflare con Mapa)
• En busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXIII (Monitorizando WordPress con Jetpack RESTful API)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXIV (Monitorizando de Veeam for Microsoft Azure)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXV (Monitorizando Consumo Eléctrico)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVI (Monitorizando Veeam Backup for Nutanix)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVII (Monitorizando ReFS y XFS (block-cloning y reflink)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXVIII (Monitorizando HPE StoreOnce)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXIX (Monitorizando PiHole)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXX (Monitorizando Veeam Backup for AWS)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXI (Monitorizando Unifi Protect)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXII (Monitorizando Veeam ONE – experimental)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXIII (Monitorizando NetApp ONTAP)
• En Busca del Dashboard perfecto: InfluxDB, Telegraf y Grafana – Parte XXXIV (Monitorizando Goldshell Miners – JSONv2)