Blog of Manuel Vieda

Blog of Manuel Vieda


Thoughts, stories and ideas.

Software Engineer, Application Developer and Information Technology enthusiast with over 8 years of experience working with Java and related technologies.

Share


Tags


Blog of Manuel Vieda

Administración de LOGS

Manuel ViedaManuel Vieda

Los logs son registros de todos los eventos que ocurren dentro de los sistemas y redes de una organización, sistema o aplicación. Cada entrada en estos archivos contiene información relacionada a un evento específico que ocurrió dentro de un sistema o red.

Aunque originalmente los log fueron utilizados en un comienzo para la detección y solución de errores, en la actualidad poseen un gran cantidad de funcionalidades que aportan gran valor para los sistemas como procesos de optimización, registro de acciones de usuarios para auditorias o fuente de información para investigación de actividades maliciosas.

Como consecuencia del aumento de servidores, redes, puestos de trabajos, aplicaciones y las amenazas y riesgos contra los sistemas y redes, el número, volumen y variedad de logs también se ha incrementado. Esto ha generado la necesidad de utilizar sistemas inteligentes de control de logs que permiten facilitar los procesos de generación, transmisión, análisis y disposición de toda la información de estos logs. Además de los sistemas, es necesario la creación de políticas de control interno que determinen el manejo apropiado y suficiente de esta información para cumplir con los requerimientos de ley de cada país  (E.j FISMA, Federal Information Security Management Act of 2002) o de certificaciones propias de negocio (Ej. PCI-DSS, Payment Card Industry Data Security Standard).

Desde el punto de vista de negocio, un buen manejo de logs requiere encontrar el balance perfecto entre la disposición de recursos para el manejo de la información con el continuo proceso de registro de información. Entre los problemas que se pueden afrontar durante el proceso de  generación y almacenamiento de logs encontramos el alto número de fuentes de información, inconsistencia de datos entre fuentes y el constante aumento del volumen generado. Otro de los problemas que es necesario tener en cuenta es garantizar la seguridad de toda la información recopilada que incluye la protección de la confidencialidad, integridad y disponibilidad de la información.

Para lograr un proceso de manejo de logs eficiente y efectivo, la NIST establece las siguientes recomendaciones:

Establecer Políticas y procedimientos para la administración de logs

Todas las organizaciones deben desarrollar un proceso estándar para la implementación del manejo de los logs. Como parte del proceso de planeación, la organización debe definir cuáles son sus necesidades y objetivos de la generación de logs. En base a estas, se deben definir políticas con los requerimientos indispensables y algunas recomendaciones para cada una de las etapas de los procesos de administración de logs (Generación, transmisión, almacenamiento, análisis y liberación). Los requerimientos y recomendaciones deben generarse teniendo en cuenta un análisis detallado de las tecnologías disponibles, sus implicaciones de seguridad, el costo de  implementación y las leyes por las cuales se rige la organización.

Priorización de la administración de logs dentro de la organización

Después de definir los requerimientos y objetivos, estos deben ser priorizados de acuerdo a las necesidades de mitigación de riesgo, el tiempo esperado y el total de recursos involucrados y disponibles para tales fines. Adicionalmente, las organizaciones deben definir roles y sus responsabilidades dentro de las áreas claves de la organización, incluyendo tareas tanto a nivel individual de cada sistema como de una infraestructura global de manejo de logs.

Crear y mantener una infraestructura para la administración de los logs

Después de definir las políticas de manejo de logs, es necesario establecer una infraestructura para la administración de logs, que consiste en hardware, software, redes y medios para el manejo de la información a generar. Una buena práctica establece definir logs centralizados de almacenamiento y análisis de datos. La infraestructura debe estar en capacidad de suplir las necesidades actuales y futuras a través de proyectos de escalabilidad. Los factores más importantes a tener en cuenta durante el diseño de esta etapa incluye el volumen de datos a ser procesados, ancho de banda, almacenamiento  online y offline, requerimientos de seguridad y el tiempo y recursos necesarios desde el personal de la organización para analizar los logs.

Establecer procesos operativos estándares:

Los procesos operativos de la administración de los log incluyen tareas como la configuración de las fuentes de información, realizar análisis de logs, iniciar respuestas a eventos identificados y el manejo del proceso de almacenamiento a largo plazo. Los administradores, entre otras tareas, se deben encargar de:

Infraestructura para la administración de logs

A continuación se describe una infraestructura típica para la administración de logs y cómo interactúan cada uno de sus componentes.

Arquitectura Log Managment

Arquitectura

Generación de Logs:

En un primer nivel se encuentran todos los host que generar información para los logs. Estos sistemas pueden ser aplicaciones que corren sus propios sistemas de logs, generando archivos locales. También se encuentran aplicaciones o sistemas que generan información que es transmitida a través de la red a un servidor central. En ambos casos, son fuentes de datos que deben ser configuradas para poder interpretar la manera en que se registra cada evento para estandarizarlo.

Análisis y Almacenamiento de Logs:

En un segundo nivel se encuentra uno o más servidores de logs que se encargan de recibir o copiar la información de cada una de las fuentes del anterior nivel en un sistema de archivos propio. Esta La información puede ser transferida en tiempo real, casi-tiempo real o a través de tareas programas en batch. Los servidores que se encargan re recibir la información se conocen comúnmente como colectores o agregadores y puede que se realicen tareas de procesamiento para poder incluir mecanismos especializados de búsqueda o incluidos en índices.

Este nivel puede ser tan sencillo como un servidor con una única tarea de recopilar información en directorios, o tan complejo como un sistema de varios servidores/aplicaciones que se encargan de realizar tareas complejas desde la recepción, transformación, análisis y automatización de tareas en base a los resultados anteriores.

Monitoreo de Logs:

Éste último nivel contienen consolas que pueden ser usadas para monitorear o revisar la información de los logs o de los análisis generados de manera automática. Se incluye herramientas para realizar reportes y alertas  hacia clientes, sistemas o encargados de tomar decisiones en base a los eventos registrados.

Funcionalidades

Las funcionalidades que ofrece esta infraestructura de administración de logs son las siguientes:

En general:

Almacenamiento:

Análisis:

Eliminación de Datos:

Software Engineer, Application Developer and Information Technology enthusiast with over 8 years of experience working with Java and related technologies.

View Comments