Apache Arrow y OpenTelemetry: Cómo el código abierto impulsa la observabilidad
Hay quince millones de estadísticas sobre cuán omnipresente es el open source software en las empresas de todos los sectores. Las aplicaciones están compuestas por más del 80% de componentes de código abierto, e Internet básicamente funciona con open source software, NGINX .
Pero también existen muchos estándares abiertos. Estándares desarrollados y pulidos utilizando un enfoque comunitario de código abierto que produce ecosistemas increíbles de productos, proyectos e infraestructura de apoyo.
OpenTelemetry es uno de esos esfuerzos y se ha convertido en el estándar para generar, ingerir y procesar datos operativos, también conocidos como telemetría . Casi un tercio (32 %) de los encuestados en el Informe de innovación en observabilidad de 2023 indica que “se requiere compatibilidad con OpenTelemetry y el 50 % dice que es muy importante en los productos de los proveedores. “Un poco más de un tercio (36%) de los encuestados utiliza OpenTelemetry dentro de su organización”.
La estandarización de la telemetría es fundamental porque la observabilidad depende de puntos de datos de toda la pila de TI. Esto significa métricas de red, registros de servidores y seguimientos, todo lo cual proviene de tipos de infraestructura y sistemas muy diferentes. No existe una única fuente de verdad porque hay demasiadas partes móviles incluso en una aplicação simple para garantizar que se puedan reunir todos los datos que se necesitan para observar el estado de la aplicación en un momento determinado. Estandarizar la forma en que se genera la telemetría es una manera de normalizar las señales digitales y garantizar que el análisis pueda aprovechar todos los puntos de datos adecuados para brindar información precisa y procesable.
Pero incluso la estandarización de la telemetría no resuelve todos los desafíos asociados con alcanzar el santo grial de la observabilidad de pila completa.
Uno de los grandes problemas a la hora de manejar datos operativos es su volumen. Las señales digitales en las que confían las organizaciones para mantenerse al tanto de posibles problemas de rendimiento o intentos de ataques se generan con mayor rapidez y furia que cualquier otro tipo de datos. Lo sabemos a un nivel cercano y personal porque en F5 hemos adoptado OpenTelemetry como nuestro estándar en toda nuestra cartera. La naturaleza y el papel de nuestros productos, como BIG-IP y NGINX, en la entrega y protección de aplicações y servicios digitales implica que se generan volúmenes significativos de datos, como métricas y registros, por diversas razones. El transporte y procesamiento de esos datos representa una parte significativa del costo asociado con las redes de telemetría.
Para abordar ese desafío, el destacado ingeniero Laurent Quérel se involucró con Apache Arrow y comenzó a trabajar con el proyecto OpenTelemetry para aumentar su eficiencia con altos volúmenes de telemetría.
Nuestros resultados de referencia muestran que Apache Arrow ofrece ventajas significativas para transportar y procesar datos de telemetría, particularmente cuando se pueden agrupar en lotes de varios cientos de entidades o más. La organización en columnas de los datos mejora la compresibilidad y este diseño de memoria mejora enormemente la velocidad de procesamiento al optimizar el uso de varios niveles de caché e instrucciones SIMD. Además, el ecosistema Arrow sirve como un excelente complemento para OpenTelemetry, mejorando su integración con motores de consulta, canales de procesamiento de flujo y formatos de archivos de análisis especializados.
Puede leer más sobre Apache Arrow y el trabajo de Laurent en el primero de dos artículos sobre nuestras experiencias con la tecnología en el sitio de Apache Arrow.