Potentes herramientas para la visualización y el análisis de datos de Elasticsearch

El objetivo es convertir los datos en información y la información en conocimiento. ― Carly Fiorina

Sobre Kibana

Kibana es un software de visualización de datos que proporciona una interfaz basada en navegador para explorar datos de Elasticsearch y navegar por Elastic Stack , una colección de productos de código abierto (Elasticsearch, Logstash, Beats y otros).

Mientras Logstash y Bits entregan datos a Elasticsearch , Kibana abre la ventana en Elastic Stack , lo que le permite realizar un seguimiento del estado de su clúster , realizar análisis de registros y series de tiempo , detectar anomalías en los datos con aprendizaje automático no supervisado , descubrir relaciones mediante gráficos y, lo más importante, extraer conocimientos de los datos de Elasticsearch con visualizaciones que se pueden combinar en un panel interactivo personalizado .

Hoy me gustaría mostrarles cómo crear un tablero impresionante y un informe tabular basado en los datos de Elasticsearch.

¡Arremángate y empecemos!

Donde empezar

La página de inicio es el lugar donde comienza todo.

Aquí puede decidir qué acciones tomar a continuación. La funcionalidad disponible se puede dividir en dos secciones lógicas:

  • Visualizar y explorar los datos. Aquí puede crear un nuevo tablero, visualización o presentación, crear un modelo de aprendizaje automático, analizar relaciones en sus datos usando gráficos y más.
  • Gestionar el Elastic Stack : configura tus espacios, analiza logs de una aplicación, configura los ajustes de seguridad, etc.

Nos centraremos en el proceso de creación de visualizaciones y agregarlas al tablero.

Cómo crear un tablero en Kibana

Déjame hacerte una idea de lo fácil que es configurar un panel completo y comenzar a generar informes.

El primer paso esencial que debe tomar es importar sus datos a Kibana. Hay varias opciones para agregar datos a su disposición; puede elegir la que mejor se adapte a sus necesidades:

Para fines de demostración, he seleccionado los datos de muestra.

Para diseñar sus primeras visualizaciones de datos y combinarlas en el tablero, abra la página Visualizar . Aquí puede crear, modificar y ver las visualizaciones existentes.

Lo que te sorprenderá de inmediato es la abundancia de tipos de visualización entre los que puedes elegir.

Una vez que haya seleccionado el que necesita, elija un patrón de índice como fuente para informar a Kibana sobre su índice. Elijamos `kibana_sample_data_flights` y comencemos a crear un gráfico de barras horizontales.

Ahora puede aplicar una agregación métrica para el eje Y y una agregación de cubos para el eje X. A continuación, se muestra una lista de todas las agregaciones disponibles para gráficos.

Opcionalmente, puede personalizar los colores de la visualización.

El filtrado es otra característica poderosa de Elasticsearch y Kibana. Proporciona una forma de visualizar solo un subconjunto seleccionado de documentos.

Vea cómo puede aplicar filtros a los campos según condiciones lógicas:

Como puede ver, Kibana proporciona una forma sencilla de filtrar los datos a través de la cómoda interfaz. Junto con eso, puede elegir cómo filtrar los datos, ya sea utilizando el lenguaje de consulta Kibana (una sintaxis de consulta simplificada) o Lucene .

Para permitir que los usuarios finales filtren los datos de forma interactiva, puede agregar widgets de control , elementos especiales del tablero que permiten filtrar los datos simplemente haciendo clic en ellos.

Otra característica que me gustaría destacar es el filtrado avanzado por fechas y la capacidad de establecer intervalos de tiempo para actualizar los datos en el tablero.

Lo bueno es que las visualizaciones son reutilizables . Después de crearlo, puede guardar su resultado y agregarlo al panel de control en cualquier momento, así como compartirlo con sus colegas, siempre que tengan acceso a su instancia de Kibana.

Después de organizar todos los elementos de visualización en una sola página, puede exportar el tablero final a formato PNG o PDF . Esto es lo que hace que los paneles sean portátiles: es fácil compartirlos entre departamentos en poco tiempo.

Veamos un ejemplo del panel que puede crear:

En mi opinión, las principales características que hacen que cada panel sea especial son la interactividad y la expresividad . Con él, puede comunicar métricas comerciales de manera eficiente.

Impresión personal

Las visualizaciones en Kibana realizan idealmente las tareas para las que están diseñadas. Además, todas las visualizaciones son llamativas y puede adaptarlas a sus ideas de diseño. Todo el proceso de creación de un tablero en Kibana está destinado a ser rápido y eficiente , y esto se debe a la interfaz intuitiva y fácil de usar de Kibana.

Por otro lado, he sentido que aquí falta alguna funcionalidad.

Al trabajar con datos, una de las técnicas exploratorias efectivas que puede aplicar es dividir y dividir sus datos antes de saber a qué aspectos de los datos prestar atención. En mi opinión, el widget de la tabla de datos no es la mejor opción: presenta los datos en una tabla plana que no admite una vista multidimensional de los datos. Pero jugar con los datos debe hacerse de forma interactiva y rápida.

Y aquí es donde entra en juego un control de tabla dinámica . Después de buscar soluciones disponibles, mi elección recayó en un complemento de código abierto llamado Flexmonster. Maneja la conexión al índice Elasticsearch y permite crear informes tabulares basados ​​en los datos de sus documentos. Junto con eso, la integración con Kibana es fluida: lo único que se requiere para comenzar es instalar un complemento ejecutando una línea de código en la línea de comando. Puede encontrar más detalles en GitHub. Antes de usarlo, recomiendo asegurarse de que sus instancias de Kibana y Elasticsearch sean de la misma versión.

Una vez que configure una herramienta, estará listo para usar todas las funciones disponibles para buscar información detallada.

Funciones para análisis e informes

Flexmonster Pivot proporciona un acceso rápido a la funcionalidad de informes más esencial. Su barra de herramientas permite conectarse a la fuente de datos, cargar informes guardados previamente, exportar informes a PDF , Excel , HTML , CSV e imágenes. Además, me las arreglé para cambiar rápidamente entre dos modos diferentes: la cuadrícula y los gráficos. Las opciones de formato de celdas incluyen formato condicional y numérico . La lista de campos merece una atención especial; aquí puede seleccionar jerarquías para filas, columnas, medidas y filtros de informes. También existe el campo de entrada de búsqueda que es útil si el índice tiene una lista larga de campos.

Una de las características que me gustaría destacar es la capacidad de arrastrar y soltar las jerarquías directamente en la cuadrícula. Por lo tanto, puede cambiar la porción completamente a través de la interfaz de usuario.

Otro es el de recorrer a través función - es muy útil saber qué registros están detrás de los valores agregados.

Trabajar con una tabla dinámica

Permítame mostrarle cómo crear un informe basado en los datos de Elasticsearch:

Mientras probaba la herramienta, logré agregar y filtrar los datos, ordenar los valores en la cuadrículay guarde los resultados para seguir trabajando con el informe más tarde. Además, la exportación funciona bien: es fácil compartir los informes con los compañeros de equipo.

Reuniéndolo todo

Hoy he cubierto los beneficios que ofrece Kibana para la visualización de datos de Elasticsearch. Ha podido asegurarse de cómo los paneles de control pueden potenciar el proceso de análisis.

En mi opinión, una tabla dinámica es una buena herramienta que le permite beneficiarse de la exploración de datos antes de encontrar las respuestas a preguntas complejas.

Flexmonster complementa muy bien la funcionalidad disponible de Kibana: los informes que está creando con él son detallados, personalizables y se pueden compartir fácilmente entre departamentos.

Trabajando juntas, ambas herramientas tienen todo el potencial para impulsar su narración.

Te animo a que pruebes esta combinación.

¿Que sigue?

  • Informar con Kibana
  • Creando una visualización en Kibana
  • Tabla dinámica para Elasticsearch
  • Cómo agregar una tabla dinámica a Kibana