Saludos amigos. Quiero comenzar el año lectivo, con un post muy interesante que además agrupa dos de mis productos favoritos; Zimbra, y VMWare.
Hoy voy a escribir sobre centralizar los Logs de Zimbra en VMware vRealize Log Insight. Cabe destacar que hace unas semanas escribí otro post sobre cómo centralizar los Logs de Zimbra sobre Opensource, usando Logstash, Kibana, etc.
- 1.- ¿Qué es VMware vRealize Log Insight?
- 2.- Zimbra con VMware vRealize Log Insight usando Syslog
- 3.- Monitorizando los Logs de nuestro nuevo Zimbra Server en VMware vRealize Log Insight
- 4.- Trabajando con VMware vRealize Log Insight, ayuda al instante
- 5.- Zimbra con VMware vRealize Log Insight usando Agente
- 6.- Trabajando con VMware vRealize Log Insight, ayuda al instante II
- 7.- Content Packs
- 8.- Conclusión
¿Qué es VMware vRealize Log Insight?
Antes se llamaba vCenter Log Insight, VMware vRealize Log Insight ofrece gestión de Logs en tiempo real para entornos VMware, o cualquier otro aparato, servidor, etc que le configuremos, con agrupación basada en el aprendizaje inteligente del propio appliance, búsqueda de alto rendimiento y una mejor resolución de problemas de nuestros entornos virtuales, Zimbra, etc.
Más información y un breve vistazo haciendo click en la siguiente imagen:
Zimbra con VMware vRealize Log Insight usando Syslog
En esta configuración vamos a aprender a configurar nuestro Zimbra para que mande mediante Syslog los Logs de Zimbra. Es un primer paso y el más básico de los dos que configuraremos, pero también el más sencillo de implementar.
Configuración en nuestro servidor Zimbra
Lo primero que haremos será editar la configuración de Rsyslog de nuestro servidor de Zimbra, deberemos editar el fichero de configuración ubicado en /etc/rsyslog.conf y dejarlo con los siguientes valores:
vi /etc/rsyslog.confEs importante que estemos atentos al cambio e introduzcamos la IP o hostname de nuestro servidor de VMware vRealize Log Insight, así cómo estar seguros que estamos usando el puerto 514 por UDP, todo esto viene configurado por defecto en el VMware vRealize Log Insight, así que si no hemos hecho cambios todo funcionará a la primera.
# provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
*.* @IPorHOSTNAMELOGINSIGHT:514
Lo siguiente será lanzar un reinicio al servicio de Rsyslog:
etc/init.d/rsyslog restartUna manera muy buena de probar que nuestro VMware vRealize Log Insight recibe mensajes desde nuestro Zimbra server es lanzar una traza por UDP:
nc -u IPorHOSTNAMELOGINSIGHT 514
Escribe aquí tu prueba
Y presionar CTRL+C, veremos algo así:
Y si nos vamos a nuestro VMware vRealize Log Insight, en la pestaña de Interactive Analytics veremos lo siguiente, esto es que todo funciona perfecto:
Monitorizando los Logs de nuestro nuevo Zimbra Server en VMware vRealize Log Insight
Es el turno de loguearnos a nuestro VMware vRealize Log Insight y ver que información somos capaces de sacar, etc. Una vez hemos hecho login, nos iremos hasta la pestaña de Interactive Analytics que es donde podremos jugar mucho más.
En esta pestaña, tenemos además varias sub-pestañas con las que podemos ver los Logs de maneras diferentes.
Por ejemplo, cómo Field Table, podemos ver los Logs de manera desgranada y ordenarlo además por Host, por App, etc, muy útil esta pestaña.
Podemos verlo también cómo tendencias, donde se aglutinan los mismos tipo de eventos. 
Y también por tipos de Evento, nada especial en esta vista, pero no deja de ser interesante y nos puede servir en el futuro.
Trabajando con VMware vRealize Log Insight, ayuda al instante
Pero la verdadera funcionalidad de un sistema centralizado de Logs es cuando necesitamos buscar un dato porque tenemos un problema, o un fallo, o un ataque, por ejemplo, una de mis búsquedas más normales es ver los usuarios logeados a Zimbra, para detectar ataques o login indebidos. En Linux el comando suele ser así:
cat /var/log/zimbra.log | grep sasl_methodPero en nuestro sistema centralizado de Logs, puedo chequear al mismo tiempo en todos mis servers Zimbra, o solamente en los que yo desee, etc. Lo que haré será en el campo de búsqueda introduciré sasl y el propio sistema me autocompletará con sasl_method, esto sucede con todas las cadenas que busquemos, esto es simplemente maravilloso.
Aquí el resultado del comando lanzado, bueno en mi caso solamente estoy yo, que es mi entorno de pruebas.
Podemos además filtrar por el Source, que será el Servidor Zimbra, y así tener solamente los impactos y logins a ese servidor en concreto.
Y de esta manera, podemos Añadir a nuestro Dashboard personalizado la búsqueda con sasl_method y con el source nuestro server Zimbra, uno de ellos al menos.
Podremos elegir el nombre para el complemento que añadiremos a nuestro Dashboard, en mi caso he puesto User login Dashboard.
Y así es cómo se verá nuestro Dashboard 1, con la gráfica total de Eventos, así cómo el nuevo Widget llamado User login Dashboard, con la cantidad de usuarios logueados por tiempo, un dato muy útil para detectar picos de trabajo o cuellos de botella, o ataques.
Zimbra con VMware vRealize Log Insight usando Agente
Como todos los Softwares del mercado, siempre que hay un agente de por medio, encontramos una mayor integración y muchas más opciones. Seguramente con la configuración de arriba os habéis quedado un poco frios y queréis añadir más logs, especialmente el todopoderoso mailbox.log de Zimbra.
Instalación del Agente de VMware vRealize Log Insight en nuestro servidor Zimbra
Los Agentes podemos encontrarlos en la siguiente URL: https://YOURVREALIZELOGINSIGHTSERVER/admin/agents, veremos algo así:
Si ya tuvieramos uno o varios Agentes instalados, entonces veremos algo así:
Descargaremos el fichero de Agente para Linux en nuestro servidor. Y lo instalaremos de la siguiente manera (recordar que yo uso Ubuntu y por eso instalo el .deb):
sudo dpkg deb -i VMware-Log-Insight-Agent_2.5.0-2347850.debY el proceso de instalación mostrará algo cómo lo siguiente:
Preparing to unpack VMware-Log-Insight-Agent_2.5.0-2347850.deb ...
Unpacking vmware-log-insight-agent (2.5.0-2347850) ...
Setting up vmware-log-insight-agent (2.5.0-2347850) ...
Adding system startup for /etc/init.d/liagentd ...
/etc/rc0.d/K20liagentd -> ../init.d/liagentd
/etc/rc1.d/K20liagentd -> ../init.d/liagentd
/etc/rc6.d/K20liagentd -> ../init.d/liagentd
/etc/rc2.d/S20liagentd -> ../init.d/liagentd
/etc/rc3.d/S20liagentd -> ../init.d/liagentd
/etc/rc4.d/S20liagentd -> ../init.d/liagentd
/etc/rc5.d/S20liagentd -> ../init.d/liagentd
Starting VMware Log Insight Agent: *
Installation completed. Please edit /var/lib/loginsight-agent/liagent.ini to configure the agent.
For online documentation please visit:
http://pubs.vmware.com/log-insight-25/index.jsp?topic=%2Fcom.vmware.log-insight.administration.doc%2FGUID-DB4A27CF-BDA7-443F-94FB-AB9097AD8008.html
Processing triggers for ureadahead (0.100.0-16) ...
ureadahead will be reprofiled on next rebootConfiguración en nuestro Agente de VMware vRealize Log Insight
La configuración del agente no es nada complicada, simplemente deberemos editar el fichero /var/lib/loginsight-agent/liagent.ini y añadir los logs que queremos monitorizar, por defecto el Agente trae syslog y messages.log, que podemos eliminar si nos reporta demasiada información que no queremos.
Os dejo el ejemplo que yo uso para un servidor Zimbra Single Server:
[filelog|messages]
directory=/var/log
include=messages;messages.?
[filelog|syslog]
directory=/var/log
include=syslog;syslog.?
[filelog|Zimbra-Audit]
directory=/opt/zimbra/log
include=audit.log;audit.log
[filelog|Zimbra-Access]
directory=/opt/zimbra/log
include=access.log;access.log*
[filelog|Zimbra-Clamd]
directory=/opt/zimbra/log
include=clamd.log;clamd.log
[filelog|Zimbra-EWS]
directory=/opt/zimbra/log
include=ews.log;ews.log
[filelog|Zimbra-Mailbox]
directory=/opt/zimbra/log
include=mailbox.log;mailbox.log
[filelog|Zimbra-MYSQL-Error]
directory=/opt/zimbra/log
include=mysql_error.log;mysql_error.log
[filelog|Zimbra-Zmmailboxd]
directory=/opt/zimbra/log
include=zmmailboxd.out;zmmailboxd.outQuizás os preguntéis por qué a veces añado el símbolo de ? al final, bien, para ello os remito a este fantástico Link donde podemos ver la manera de cargar logs que tienen nombres autogenerados con fechas, o numeración. Esto es un auténtico arte, sin lugar a dudas – http://pubs.vmware.com/log-insight-25/index.jsp?topic=%2Fcom.vmware.log-insight.administration.doc%2FGUID-07307AB9-9392-4CDF-B687-1FC31F7C7A46.html
Después de configurar el Agente de VMware vRealize Log Insight, el propio agente empezará a mandar información al servidor. Si no fuera así podemos hacer un reboot del servicio:
/etc/init.d/liagentd restart
Stopping VMware Log Insight Agent: *
Starting VMware Log Insight Agent: * Trabajando con VMware vRealize Log Insight, ayuda al instante II
Bien, es la hora de volver a nuestro VMware vRealize Log Insight para ver que somos capaces de visualizar con el agente instalado.
Por defecto, nos cargará el menú de vSphere, pero nosotros queremos ver el General, asi que haremos Click en el menú donde pone VMware vSphere y cambiaremos a General.
Y allí podremos ver mucha más información acerca de nuestro entorno, nuestros Hosts Logueados, etc.
Pero sin duda, la mejor pestaña aquí es la de Agents, en ella veremos todos nuestros servidores con el Agente instalado, y podremos como siempre autocompletar en el campo de Hostname, o en la derecha en el primer Widget veremos el resumen de los Agentes.
Si hacemos un poco de Scroll, encontraremos el resumen de los Logs que estamos recibiendo, recordemos todos los que configuramos unos pasos atrás. Podemos hacer click en el icono de configuración para crear nuestro propio Dashboard.
Por ejemplo este es un Dashboard que he creado, le he llamado Zimbra with Agent, y he aglutinado una gráfica con todas las entradas de Log, un widget separado por los impactos de cada Log, y un widget con la tarta por Hosts, solamente tengo uno y queda algo pobre.
Si pinchamos en alguno de los campos de las tartas, por ejemplo en el pedazo de tarta para /opt/zimbra/log/mailbox.log y pulsamos en Interactive Analytics, veremos las trazas de Logs de este fichero, impresionante.
Content Packs
Los fabricantes se están empezando a dar cuenta lo importante qué es tener los Logs centralizados para depurar problemas, para evitarlos y solucionarlos en caso de fallo grave, y se han unido a VMware en proporcionar Content Packs para VMware vRealize Log Insight, de tal forma que añadir Logs de diferentes fabricantes sea un abrir y cerrar de ojos, aquí el ejemplo:
Conclusión
La conclusión es que VMWare vRealize Log Insight es una herramienta muy potente ya preparada para el entorno Business y además con el soporte y garantia de VMware.
He quedado más que impresionado con este Software, y no solamente porque recoja perfectamente los Logs de Zimbra Collaboration, si no porque es muy potente y podemos tener centralizados todos los Logs de cientos de dispositivos.
Puntos positivos
- A favor frente a Kibana y Logstash es que viene en formato Appliance, se descarga, se arranca y a funcionar.
- Cuenta con soporte de VMware detrás
- Es una solución Business Ready
- Es una solución preparada para un CAU, o departamento de Sistemas avanzado.
- Me encanta la manera de tratar los Logs, de parsearlos y de buscar en ellos.
- Content Packs de diferentes fabricantes, awesome.
Puntos negativos
- Tiene un coste, el cual desconozco ahora mismo, si alguién puede arrojar algo de luz.
- El tema de particionamiento, etc, al venir en formato Appliance es más complicado tocarlo.
- Basado en OpenSuse, lo siento prefiero Ubuntu o Red Hat para appliances, pero VMware parece muy unido a Opensuse en todos los appliances que saca.
Hola Jorge, me parece muy buena idea lo de los logs centralizados, yo tuve un problema apenas ayer, por que buscaba en los logs un registro que me indicara por que no llegaba un correo de un dominio determinado, desgraciadamente en una parte de un procedimiento reinstale el postifix y que me hecho el servidor, afortunadamente tenía una copia de la semana pasada y lo restaure, pero los correos de 3 días no aparecen, a pesar que el STORE esta en un disco duro separado, me podrías ayudar a que el index tenga los correos del store nuevo? Gracias.
Uff que pregunta mas complicada 🙂 Te recomiendo que habras un caso con Zimbra, esto se escapa un poco de las preguntas habituales. Supongo que puedes indexar de nuevo los emails uno a uno a sus respectivos buzones, pero no parece sencillo.
Un saludo