Apache Arrow y OpenTelemetry: cómo el código abierto impulsa la observabilidad

Ecosistema de F5 | 19 de abril de 2023

Hay tropecientas estadísticas sobre la omnipresencia del software de código abierto en empresas de todos los sectores. Las aplicaciones están compuestas en más de un 80 % por componentes de código abierto e Internet, básicamente, funciona gracias al software de código abierto NGINX.

Pero también hay otros tantos estándares abiertos. Estándares desarrollados y perfeccionados mediante un enfoque comunitario y de código abierto que da lugar a increíbles ecosistemas de productos, proyectos e infraestructuras de apoyo.

OpenTelemetry es una de esas iniciativas y se ha convertido en el estándar para generar, ingerir y procesar datos operativos, también conocidos como telemetría. Casi un tercio (32 %) de los encuestados en el Observability Innovation Report 2023 señala que «la compatibilidad con OpenTelemetry es obligatoria» y el 50 % afirma que es muy importante en los productos de los proveedores. Algo más de un tercio (36 %) de los encuestados utiliza OpenTelemetry en su organización.

Estandarizar la telemetría es fundamental, ya que la observabilidad depende de los datos procedentes de toda la pila de TI. Esto incluye métricas de red, registros de servidores y trazas, todos ellos provenientes de tipos de infraestructuras y sistemas muy diversos. No existe una única fuente de información fiable porque, incluso en una aplicación sencilla, hay demasiados elementos en funcionamiento como para garantizar que se puedan recopilar todos los datos necesarios para observar el estado de la aplicación en un momento determinado. Estandarizar la forma en que se genera la telemetría permite normalizar las señales digitales y garantizar que el análisis pueda aprovechar todos los datos pertinentes para ofrecer información precisa y útil.

Pero ni siquiera la estandarización de la telemetría resuelve todos los retos que conlleva alcanzar el santo grial de la observabilidad integral de la pila tecnológica.

Uno de los grandes y complejos problemas que plantea el tratamiento de los datos operativos es su volumen. Las señales digitales en las que confían las organizaciones para mantenerse al tanto de posibles problemas de rendimiento o intentos de ataque se generan a un ritmo y con una intensidad muy superiores a los de cualquier otro tipo de datos. En F5 lo sabemos de primera mano, ya que hemos adoptado OpenTelemetry como estándar para toda nuestra cartera. La naturaleza y la función de nuestros productos, como BIG-IP y NGINX, en la entrega y protección de aplicaciones y servicios digitales hacen que se generen volúmenes considerables de datos, como métricas y registros, por diversos motivos. El transporte y el procesamiento de esos datos representan una parte importante del coste asociado a las canalizaciones de telemetría.

Para abordar ese reto, el ingeniero distinguido Laurent Quérel empezó a colaborar con Apache Arrow y con el proyecto OpenTelemetry para mejorar su eficiencia al gestionar grandes volúmenes de datos de telemetría.

Los resultados de nuestras pruebas de rendimiento muestran que Apache Arrow ofrece ventajas significativas para el transporte y el procesamiento de datos de telemetría, especialmente cuando estos pueden agruparse en lotes de varios cientos de entidades o más. La organización de los datos por columnas mejora la capacidad de compresión, y esta disposición en memoria aumenta considerablemente la velocidad de procesamiento al optimizar el uso de los distintos niveles de caché y de las instrucciones SIMD. Además, el ecosistema de Arrow constituye un excelente complemento para OpenTelemetry, ya que mejora su integración con motores de consulta, canalizaciones de procesamiento de flujos y formatos de archivo especializados para análisis.

Puedes obtener más información sobre Apache Arrow y el trabajo de Laurent en el primero de dos artículos sobre nuestra experiencia con esta tecnología en el sitio web de Apache Arrow.

Compartir

Sobre el autor

Lori Mac Vittie
Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.

Más artículos de Lori Mac Vittie

Artículos relacionados del blog

Proteger los endpoints de las API dificulta la seguridad de las API
Ecosistema de F5 | 30/01/2024

Proteger los endpoints de las API dificulta la seguridad de las API

Descubre las complejidades de la seguridad de las API, los retos a los que se enfrentan las organizaciones, la evolución de los ataques contra endpoints de API y la necesidad de políticas de seguridad adaptadas.

¿Qué es el sesgo de la IA y por qué es importante para TI?
Ecosistema de F5 | 22/02/2023

¿Qué es el sesgo de la IA y por qué es importante para TI?

Descubre los fundamentos del aprendizaje de la IA. Aprende cómo pueden surgir sesgos en la IA y qué riesgos plantean para las TI y la transformación digital.

Redefiniendo la ciberseguridad en el extremo de la nube distribuida con IA y telemetría en tiempo real
Ecosistema de F5 | 01/11/2021

Redefiniendo la ciberseguridad en el extremo de la nube distribuida con IA y telemetría en tiempo real

La transformación digital y la adopción de tecnologías en la nube están provocando cambios en las arquitecturas de las aplicaciones. Estos cambios introducen nuevas superficies de ataque, que son el objetivo de métodos de ataque avanzados, altamente organizados y con motivaciones económicas. Mediante el uso del framework Morpheus de NVIDIA, F5 está investigando técnicas para detectar estas amenazas avanzadas con telemetría en tiempo real y análisis basados en IA.

El papel de la nube en las aplicaciones nativas del edge
Ecosistema de F5 | 14/06/2021

El papel de la nube en las aplicaciones nativas del edge

No debería sorprender que, al igual que la aparición de la nube dio lugar a las aplicaciones nativas de la nube, el edge esté impulsando un conjunto de aplicaciones nativas del edge. Sin embargo, estas aplicaciones no residirán únicamente en el edge. Al mismo tiempo, están surgiendo nuevos patrones arquitectónicos que aprovechan las aplicaciones alojadas en la nube y en el centro de datos.

La creciente diversidad de ubicaciones y usuarios está impulsando a las empresas hacia el edge
Ecosistema de F5 | 03/05/2021

La creciente diversidad de ubicaciones y usuarios está impulsando a las empresas hacia el edge

En el contexto del ámbito de las aplicaciones, el término «usuario» siempre se ha referido a la entidad que interactúa con una aplicación. Del mismo modo que los cambios en las arquitecturas de las aplicaciones impulsan cambios en las tecnologías que permiten ofrecerlas y protegerlas, los cambios en la definición de usuario han provocado cambios en los lugares donde se despliegan las aplicaciones.

El edge está impulsando un renacimiento de las infraestructuras
Ecosistema de F5 | 26/10/2020

El edge está impulsando un renacimiento de las infraestructuras

A medida que las organizaciones aumentan la generación de datos y tratan de extraer valor empresarial de ellos, sin duda recurrirán a la analítica y la automatización basadas en la IA y el aprendizaje automático. Precisamente este tipo de cargas de trabajo son las que más se beneficiarían de una infraestructura optimizada y, sin embargo, hoy en día son las que menos probabilidades tienen de poder aprovecharla.