Zimbra: Logs centralizados con Logstash y Kibana sobre Ubuntu 14.04

Saludos amigos, Zimbra, así cómo cualquier servidor, aplicación, dispositivo, almacena mucha información en los Logs, de hecho para detectar cualquier problema, siempre hay que usar los Logs. Es por ello que deberiamos de prestar más atención a este elemento tan importante y sobre todo resolutivo en caso de fallo.

Desde este Blog y con ese artículo, vamos a aprender a instalar, en una VM dedicada, Un sistema centralizado de Logs basados en Logstash y Kibana, y lo instalaremos sobre Ubuntu Server 14.04 LTS.
Vamos allá con el menú

• 1.- Componentes de nuestro Sistema Centralizado de Logs
• 2.- Requisitos de Hardware, Software
• 3.- Instalando el Servidor Centralizado de Logs
  • 3.1.- Instalar Java 7
  • 3.2.- Instalación de Elasticsearch
  • 3.3.- Instalando Kibana
  • 3.4.- Instalando Nginx
  • 3.5.- Instalando Logstash
  • 3.6.- Generando certificados SSL para la comunicación Cliente/Servidor
  • 3.7.- Configurando el servidor Logstash
• 4.- Configurando los Servidores remotos
  • 4.1.- Copiar el Certificado SSL desde nuestro Logstash Server a nuestros Servidores remotos
  • 4.2.- Instalar el paquete Logstash Forwarder Package
  • 4.3.- Configurando Logstash Forwarder
  • 4.4.- Conectando a Kibana

Componentes de nuestro Sistema Centralizado de Logs

Nuestro sistema se basa en los siguientes componentes clave para tener una de las mejores herramientas de Logs:

• Logstash: Este es el componente que procesa los logs que llegan
• Elasticsearch: Almacena todos los logs
• Kibana: Interfaz Web para buscar y visualizar los logs
• Logstash Forwarder: Este componente se instala en los servidores que queremos que envien sus logs a nuestro Logstash, Logstash Forwarder es al final un agente que utiliza el protocolo de red lumberjack para comunicarse con Logstash

Los tres primeros componentes se instalarán en la VM dedicada para tal efecto, meintras que el último componente deberá ser instalado en cada Servidor que queramos monitorizar.

Requisitos de Hardware, Software

Sobre la VM, realizaremos una instalación limpio de Ubuntu Server 14.04LTS. Para la parte de Hardware, todo dependerá de la cantidad de Logs que queramos procesar, para un entorno moderado de hasta 30 Servidores enviando Logs a esta VM, con los siguientes recursos, tendremos de sobra:

• OS: Ubuntu 14.04 LTS
• vRAM: 4GB
• vCPU: 2
• vDisk: 100GB (SAS 10K o mejor 15K)

Instalando el Servidor Centralizado de Logs

Instalar Java 7

Elasticsearch y Logstash necesitan Java 7 para funcionar, para instalarlo debemos añadir el Oracle Java PPA a nuestro apt de la siguiente manera:

root@logstashkibana01:/home/oper# sudo add-apt-repository -y ppa:webupd8team/java
gpg: keyring `/tmp/tmptjs1zwc5/secring.gpg' created
gpg: keyring `/tmp/tmptjs1zwc5/pubring.gpg' created
gpg: requesting key EEA14886 from hkp server keyserver.ubuntu.com
gpg: /tmp/tmptjs1zwc5/trustdb.gpg: trustdb created
gpg: key EEA14886: public key "Launchpad VLC" imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)
OK

Una vez que ya tenemos añadido el repositorio de Oracle, es hora de hacer un apt-get update para actualizar la lista de paquetes:

root@logstashkibana01:/home/oper# apt-get update

Perfecto, ahora instalaremos la última versión estable de Oracle Java 7

root@logstashkibana01:/home/oper# sudo apt-get -y install oracle-java7-installer

Instalación de Elasticsearch

Para instalar Elasticsearch, deberemos añadir la key GPG publica a nuestro apt, para ello lanzaremos el siguiente comando:

 root@logstashkibana01:/home/oper# wget -O - http://packages.elasticsearch.org/GPG-KEY-elasticsearch | sudo apt-key add -

Ahora crearemos el arbol con la lista de sources, con el siguiente comando:

root@logstashkibana01:/home/oper# echo 'deb http://packages.elasticsearch.org/elasticsearch/1.1/debian stable main' | sudo tee /etc/apt/sources.list.d/elasticsearch.list

Y lanzaremos un apt-get update para actualizar la lista de paquetes:

root@logstashkibana01:/home/oper#apt-get update

Y procederemos a la instalación de Elasticsearch:

root@logstashkibana01:/home/oper# sudo apt-get -y install elasticsearch=1.1.1

Una vez instalado, vamos a editar un par de cosas para dejar fino nuestro entorno, primero editaremos el fichero de configuración:

root@logstashkibana01:/home/oper# sudo vi /etc/elasticsearch/elasticsearch.yml

Al final del fichero, o al principio, realmente no importa donde lo ubiquemos, añadiremos la siguiente línea para deshabilitar los scripts dinámicos:

script.disable_dynamic: true

Adicionalmente, para securizar el entorno, y deshabilitar las llamadas por API a nuestro Elasticsearch, deberemos de editar la variable llamada network.host, la buscaremos en el fichero de configuración y lo dejaremos de la siguiente manera:

network.host: localhost

Una vez hemos tuneado y securizado nuestro Elasticsearch, es hora de reiniciar el servicio:

root@logstashkibana01:/home/oper# sudo service elasticsearch restart
* Starting Elasticsearch Server
...done.

Para añadir el servicio de Elasticsearch al inicio de boot de Ubuntu, ejecutaremos el siguiente comando:

root@logstashkibana01:/home/oper# sudo update-rc.d elasticsearch defaults 95 10
Adding system startup for /etc/init.d/elasticsearch ...
/etc/rc0.d/K10elasticsearch -> ../init.d/elasticsearch
/etc/rc1.d/K10elasticsearch -> ../init.d/elasticsearch
/etc/rc6.d/K10elasticsearch -> ../init.d/elasticsearch
/etc/rc2.d/S95elasticsearch -> ../init.d/elasticsearch
/etc/rc3.d/S95elasticsearch -> ../init.d/elasticsearch
/etc/rc4.d/S95elasticsearch -> ../init.d/elasticsearch
/etc/rc5.d/S95elasticsearch -> ../init.d/elasticsearch

Instalando Kibana

En este tutorial yo he instalado Kibana 3.1.2, buscar la última versión en su website antes de instalar la 3.1.2.

Descargaremos Kibana con el siguiente comando:

root@logstashkibana01:/home/oper# wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz

Después deberemos extraer el paquete que acabamos de descargar:

root@logstashkibana01:/home/oper# tar xvf kibana-3.1.2.tar.gz

Nos moveremos al directorio de Kibana y editaremos el fichero de configuración:

root@logstashkibana01:/home/oper# cd kibana-3.1.2
root@logstashkibana01:/home/oper/kibana-3.1.2# vi kibana-3.1.2/config.js



Después, una vez dentro deberemos buscar la variable llamada elasticsearch:, y reemplazar el contenido del puerto, que por defecto vendrá el 9200, por el puerto 80, para que nos sea realmente cómodo navegar posteriormente (http://IPDENUESTROSERVERDELOGS), debe quedarnos algo así:

elasticsearch: "http://"+window.location.hostname+":80",

A su vez, vamos a usar Nginx para que sirva nuestra aplicación web, Kibana, por lo tanto deberemos crear primero la carpeta adecuada en el directorio /var/www, con el siguiente comando:

root@logstashkibana01:/home/oper/kibana-3.1.2# sudo mkdir -p /var/www/kibana3

Y posteriormente copiar toda nuestra carpeta y ficheros de Kibana a su nueva ubicación:

root@logstashkibana01:/home/oper# sudo cp -R ~/kibana-3.1.2/* /var/www/kibana3/

Como antes hemos mencionado, para servir la aplicación Web, vamos a hacer uso de Nginx.

Instalando Nginx

Usaremos nuestro apt normal para instalar el servidor web Nginx:

root@logstashkibana01:/home/oper# sudo apt-get install nginx

Debido a la forma en que Kibana interactúa con Elasticsearch (el usuario debe ser capaz de acceder Elasticsearch directamente), tenemos que configurar Nginx para que haga proxy al puerto 80 las peticiones que vienen del puerto 9200 (el puerto que Elasticsearch escucha por defecto).

Por suerte, Kibana ofrece un ejemplo de configuración Nginx que establece la mayor parte de esto.

Descargaremos la configuración de Nginx desde el GitHub de Kibana a nuestro directorio:

cd ~; wget https://gist.githubusercontent.com/thisismitch/2205786838a6a5d61f55/raw/f91e06198a7c455925f6e3099e3ea7c186d0b263/nginx.conf

Editaremos el fichero de configuración:

root@logstashkibana01:~# vi nginx.conf

Buscaremos la variable llamada server_name y añadiremos nuestro FQDN, o localhost si no estamos usando ningún FQDN en particular. También deberemos introducir la ruta donde están nuestros ficheros de Kibana:

server_name FQDN;
root /var/www/kibana3;

Guardaremos este fichero y procederemos a copiarlo a la carpeta de Nginx para convertirlo en nuestro fichero de configuración por defecto:

root@logstashkibana01:~# sudo cp nginx.conf /etc/nginx/sites-available/default

Para que nuestros usuarios se puedan loguear, o nuestros compañeros Administradores de Sistemas, deberemos hacer uso de las apache2-utils, para instalarlas lanzaremos el siguiente comando:

root@logstashkibana01:~# sudo apt-get install apache2-utils

Es el momento de generar un login que será usado por Kibana para guardar los dashboards, por favor en los campos en rojos escribir vuestro propio usuario, nos solicitará una contraseña:

root@logstashkibana01:~# sudo htpasswd -c /etc/nginx/conf.d/kibana.myhost.org.htpasswd user admin
New password:
Re-type new password:
Adding password for user admin

Ya casi hemos acabado, ahora lanzaremos un reinicio a Nginx:

root@logstashkibana01:~# sudo service nginx restart
* Restarting nginx nginx
...done.

Instalando Logstash

Es el último paquete que instalaremos en la VM de servidor, en este caso se trata de instalar Logstash, lo podemos instalar desde el mismo repositorio de Elasticsearch, por lo que tan solo lanzaremos el siguiente comando para crear la lista de sources para Logstash:

root@logstashkibana01:~# echo 'deb http://packages.elasticsearch.org/logstash/1.4/debian stable main' | sudo tee /etc/apt/sources.list.d/logstash.list
deb http://packages.elasticsearch.org/logstash/1.4/debian stable main

Lanzaremos un apt-get update para refrescar la lista de paquetes:

root@logstashkibana01:~# apt-get update

Y ahora lanzaremos el comando para instalar Logstash:

root@logstashkibana01:~# sudo apt-get install logstash=1.4.2-1-2c0f5a1

Logstash está ahora instalado, pero todavía no está configurado, primero debemos realizar un paso previo.

Generando certificados SSL para la comunicación Cliente/Servidor

Cómo vamos a usar Logstash Forwarder en los servidores clientes para enviar los logs hacía nuestroo servidor de Logstash centralizado, queremos hacerlo de manera segura. Con lo que generaremos un certificado SSL y una juego de llaves. El certificado será usado por el “Cliente” para verificar la identidad del “Servidor”.

Crearemos primero los directorios donde almacenaremos el certificado y la clave privada:

root@logstashkibana01:~# sudo mkdir -p /etc/pki/tls/certs
root@logstashkibana01:~# sudo mkdir /etc/pki/tls/private

Ahora generaremos el certificado SSL y la clave privada, en sus correspondientes carpetas, con el siguiente comando:

root@logstashkibana01:~# cd /etc/pki/tls; sudo openssl req -x509 -batch -nodes -days 3650 -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

Configurando el servidor Logstash

Los ficheros de configuración de Logstash están en formato JSON, y se almacenan en la carpeta /etc/logstash/conf.d. La configuración consiste de tres secciones; inputs, filters y outputs.

Vamos a crear un fichero de configuración llamado 01-lumberjack-input.conf y vamos a configurar nuestro input “lumberjack”:

root@logstashkibana01:/etc/pki/tls# sudo vi /etc/logstash/conf.d/01-lumberjack-input.conf

E introduciremos el siguiente texto a la configuración:

input {
lumberjack {
port => 5000
type => "logs"
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
}

Guardaremos el fichero y saldremos de él. Con esto hemos especificado un input “lumberjack” escuchando por el puerto TCP 5000, y además hará uso del Certificado SSL y la clave privada que hemos creado anteriormente.

Ahora, crearemos un fichero llamado 10-syslog.conf, y es donde añadiremos el filtro para nuestros mensajes de syslog:

root@logstashkibana01:/etc/pki/tls# sudo vi /etc/logstash/conf.d/10-syslog.conf

Y añadiremos el siguiente contenido para definir nuestro filtro:

filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
syslog_pri { }
date {
match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}

Guardaremos y saldremos del fichero. Este filtro que hemos definido mirará en los logs que se sean de tipo “syslog” y los intentará parsear usando “grok” para hacerlos más sencillos de interpretar.

El último fichero que editaremos le llamaremos 30-lumberjack-output.conf:

root@logstashkibana01:/etc/pki/tls# sudo vi /etc/logstash/conf.d/30-lumberjack-output.conf

Y contendrá la siguiente información:

output {
elasticsearch { host => localhost }
stdout { codec => rubydebug }
}

Basicamente lo que hace este output es guardar los logs de Logstash en Elasticsearch.

Reiniciaremos los servicios:

root@logstashkibana01:/etc/pki/tls# sudo service logstash restart

Ya tenemos nuestro Servidor 100% listo.

Configurando los Servidores remotos

Llega el momento más divertido, cuando configuramos nuestros servidores remotos para que manden los logs que deseamos a nuestro servidor centralizado de Logs.

Los pasos aquí indicados son para Ubuntu 14.04 LTS.

Copiar el Certificado SSL desde nuestro Logstash Server a nuestros Servidores remotos

En el Servidor de Logstash, deberemos lanzar el siguiente comando hacía nuestro Server Zimbra.

root@logstashkibana01:/etc/pki/tls# scp /etc/pki/tls/certs/logstash-forwarder.crt user@server_private_IP:/tmp:

Instalar el paquete Logstash Forwarder Package

En nuestro servidor remoto, en este caso nuestro Zimbra, crearemos la lista de paquetes de Logstash Forwarder:

root@zimbra-sn-u14-01:/home/oper# echo 'deb http://packages.elasticsearch.org/logstashforwarder/debian stable main' | sudo tee /etc/apt/sources.list.d/logstashforwarder.list

Una vez hemos hecho esto, instalaremos el paquete de Logstash Forwarder:

root@zimbra-sn-u14-01:/home/oper# sudo apt-get update
root@zimbra-sn-u14-01:/home/oper# sudo apt-get install logstash-forwarder

Lo siguiente que querremos seguramente es que Logstash Forwarder arranque al iniciar nuestro Ubuntu:

root@zimbra-sn-u14-01:/home/oper# cd /etc/init.d/; sudo wget https://raw.github.com/elasticsearch/logstash-forwarder/master/logstash-forwarder.init -O logstash-forwarder
root@zimbra-sn-u14-01:/home/oper# sudo chmod +x logstash-forwarder
root@zimbra-sn-u14-01:/home/oper# sudo update-rc.d logstash-forwarder defaults

Ahora copiaremos el Certificado SSL a su carpeta correspondiente:

root@zimbra-sn-u14-01:/home/oper# sudo mkdir -p /etc/pki/tls/certs
root@zimbra-sn-u14-01:/home/oper# sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

Configurando Logstash Forwarder

Es el momento de darle el último apretón a este tutorial, dentro de nuestra VM Zimbra deberemos seleccionar que logs queremos que sea procesados por nuestro Sistema Centralizado de Logs.

Vamos a crear un fichero de configuración para Logstash Forwarder en formato JSON:

root@zimbra-sn-u14-01:/home/oper# sudo vi /etc/logstash-forwarder

Ahora introduciremos el siguiente contenido, sustituyendo por supuesto la IPO del servidor de Logstash, por la de vuestro servidor de Logstash, cómo podéis ver, yo quiero mandar a mi Sistema Centralizado de Logs los siguientes logs: syslog, auth.log, mailbox.log, nginx.access.log, nginx.log, zimbra.log y mail.log, pero podéis añadir todos los que queráis aquí:

{
"network": {
"servers": [ "IPDEVUESTROLOGSTASH:5000" ],
"timeout": 15,
"ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt"
},
"files": [
{
"paths": [
"/var/log/syslog",
"/var/log/auth.log",
"/opt/zimbra/log/mailbox.log",
"/opt/zimbra/log/nginx.access.log",
"/opt/zimbra/log/nginx.log",
"/var/log/zimbra.log",
"/var/log/mail.log"
],
"fields": { "type": "syslog" }
}
]
}

Guardaremos el fichero y saldremos de la configuración.

Por último lanzaremos un reinicio del servicio en nuestra máquina Zimbra:

root@zimbra-sn-u14-01:/home/oper#  sudo service logstash-forwarder restart

Tendremos que repetir este último proceso por cada Servidor remoto que queramos monitorizar.

Conectando a Kibana

Llega el paso interactivo y en HTML5, después de tanto tiempo en consola, ya podremos irnos a un navegador y escribir la dirección IP de nuestro Server Centralizado de Logs con Logstash. Lo primero que veremos es la pantalla de Introducción, que nos muestra un breve resumen con información acerca de Kibana, etc. Seleccionaremos la opción 1. Sample Dashboard.

De Kibana y nuestro Sistema Centralizado de Logs me gusta todo, pero especialmente que podemos marcar por checkbox, para obtener el resultado de los Logs de manera granular y perfectamente parseada y lo mejor, parseada a nuestro gusto. Y no solo eso, también nos permite jugar y aglutinar la búsqueda por los campos seleccionados, maravilloso.

Además, por si fuera poco, podemos jugar con los Dashboard a nuestro gusto y compartir la URL pública, de tal manera que podemos darle el Dashboard a otros Sysadmin de la Empresa, o ponerlo en un monitor dedicado encendido las 24 horas del día, con una RaspberryPi, o enviarselo al responsable de Informática de la Empresa a la que llevamos el servicio de Zimbra.

Esto es un resumen real de tiempo, donde puedo ver la cantidad de Logs recibidos durante un periodo de tiempo, es más o menos constante porque es un entorno de pruebas, en un entorno de producción, según horas, y picos de trabajo, será más fluctuable.

Aquí tenemos un ejemplo de cómo se ve una entrada de Log, una vez está parseada y lista para que podamos consumirla de una manera mucho más sencilla que por SSH en nuestros servidores Zimbra.

Nada más, espero que esta entrada os resulte muy útil y le déis un uso adecuado. Como comentaba al inicio, tener saneados y controlados los Logs, nos puede ahorrar horas y horas de paradas de servicio, o detectar un problema o ataque de manera mucho más eficaz.

Esta entrada está 100% basada en este artículo original de la gente de DigitalOcean, que además de tener los mejores VPS Cloud hacen tutoriales impresionantes.