F5 colabora com a Microsoft na Fase 2 do OpenTelemetry com o Apache Arrow

Laurent Querel

A F5 está colaborando com a Microsoft na Fase 2 do projeto de código aberto OpenTelemetry com Apache Arrow (OTAP). Como parte desse projeto, os dados do OpenTelemetry serão consumidos, processados e exportados usando lotes de registros do Apache Arrow, desde o SDK até o agente, o coletor e o backend. Com base no sucesso da Fase 1, que proporcionou melhorias expressivas nas taxas de compactação dos dados de telemetria, este próximo capítulo busca ampliar ainda mais os limites do OpenTelemetry com um pipeline de processamento de dados baseado em Rust e nativo do Arrow.

A colaboração entre a F5 e a Microsoft na Fase 2 do projeto OpenTelemetry com Apache Arrow desenvolverá um pipeline de telemetria de alto desempenho integrado ao ecossistema Apache Arrow, com diversas aplicações para usos em pequena e grande escala. Estamos criando novas bibliotecas de pipeline de telemetria na linguagem Rust e pretendemos disponibilizar essa funcionalidade por meio da integração com o OpenTelemetry Collector existente.

Essa colaboração está prestes a proporcionar melhorias inovadoras de desempenho para sistemas de telemetria, representando um marco significativo não apenas para o OpenTelemetry, mas também para os ecossistemas mais amplos do Apache Arrow e do Rust. Estamos confiantes em nossa abordagem e agora estamos implementando ativamente esse novo pipeline baseado em Rust e realizando testes abrangentes de desempenho para demonstrar claramente os avanços.

Uma retrospectiva: o sucesso da Fase 1

A Fase 1 do OpenTelemetry com Apache Arrow começou com metas ambiciosas. Ao introduzir inovações no OpenTelemetry Protocol (OTLP), essa fase otimizou como nunca antes o transporte de dados de telemetria. As taxas de compactação melhoraram entre 30% e 70% em comparação com o protocolo OTLP padrão, uma conquista notável que estabeleceu as bases para o trabalho futuro.

Mas a Fase 1 foi apenas a ponta do iceberg. Ela comprovou o potencial da combinação entre o OpenTelemetry e o Apache Arrow e preparou o terreno para uma missão ainda maior: transformar todo o pipeline do OpenTelemetry em uma poderosa plataforma de processamento de dados colunar de alto desempenho.

Fase 2: entram em cena o Rust e o Arrow

Na Fase 2, a F5 e a Microsoft estão aprofundando a otimização de desempenho por meio do desenvolvimento de um pipeline OpenTelemetry totalmente nativo, baseado em Rust e Apache Arrow, com o objetivo de criar pipelines em Rust para o coletor Golang. Isso resultará em melhorias significativas no uso da CPU, na eficiência da memória, na taxa de transferência e na latência — fatores que contribuem para um ecossistema de processamento de dados mais eficiente.

Nosso objetivo também é equilibrar a compactação ideal de dados, o processamento acelerado de dados e a integração eficiente com soluções modernas de observabilidade orientadas a colunas, diferenciando esta iniciativa de outros projetos voltados principalmente apenas à compactação, como o STEF.

A decisão de apostar tudo no Rust gerou entusiasmo — e um pouco de controvérsia — na comunidade técnica. Afinal, o projeto Collector do OpenTelemetry é tradicionalmente desenvolvido em Golang. Então, por que Rust?

Por que Rust e Apache Arrow formam a dupla perfeita

Rust e Apache Arrow são como melhores amigos no mundo do processamento de dados. As duas tecnologias se complementam de maneiras profundas, tornando Rust a escolha ideal para o desenvolvimento da Fase 2. Estes são apenas alguns dos motivos:

• Segurança de memória e desempenho sem coletor de lixo: O forte compromisso do Rust com a segurança de memória garante pipelines de dados robustos e seguros, minimizando riscos como corrupção de dados ou falhas de segmentação. Somando isso às características de desempenho do Rust — baixa sobrecarga e abstrações de custo zero —, temos a combinação perfeita para processar com eficiência os dados de telemetria de alta velocidade e grande volume adotados pelo Apache Arrow.
• Processamento de dados em formato colunar: O Apache Arrow é o framework de referência para o processamento de dados em formato colunar e sem cópia. Ele é amplamente adotado em data lakes modernos e oferece suporte a sistemas como Parquet, Delta Lake e Iceberg. A integração nativa com o Arrow permite trocar dados de forma simples e eficiente com mecanismos avançados de análise, como o Apache DataFusion, e com data lakes compatíveis com o Arrow.
• Design de cópia zero: O paradigma de cópia zero do Apache Arrow combina perfeitamente com a ênfase do Rust no acesso direto à memória. Juntas, essas tecnologias eliminam a sobrecarga de serialização e desserialização, permitindo processar grandes fluxos de dados com eficiência sem desperdiçar ciclos de CPU.
• Um ecossistema próspero: O ecossistema Rust em torno do Apache Arrow está prosperando. Ao escolher o Rust para a Fase 2, a F5 e a Microsoft aproveitam essa comunidade vibrante, viabilizando integrações com bibliotecas e frameworks avançados, como o Apache DataFusion. Essas conexões abrem portas para novas aplicações, especialmente integrações com data lakes de grande escala usados para análise de dados e aprendizado de máquina. Embora este projeto ainda esteja em seus estágios iniciais, já despertamos o interesse de várias empresas especializadas em bancos de dados voltados à observabilidade.

Além do desempenho: horizontes ampliados

Com o Rust e o Apache Arrow à frente, o OpenTelemetry com Apache Arrow não está apenas lidando com métricas de desempenho — ele está preparando o terreno para uma adoção mais ampla nos ecossistemas de telemetria e dados.

Imagine um mundo em que pipelines de telemetria possam ser incorporados perfeitamente a data lakes, oferecendo conexões diretas com plataformas de análise orientadas a colunas. Esse pipeline de ponta a ponta e sem cópias permitirá que os dados de telemetria fluam perfeitamente da produção para os sistemas subsequentes, viabilizando integrações antes inimagináveis no OpenTelemetry.

Ao preservar a capacidade de incorporação, priorizar controles rigorosos de memória e oferecer suporte a um ambiente de execução com uma thread por núcleo, a Fase 2 garante que esse paradigma baseado em Rust não apenas superará as expectativas, mas também continuará acessível tanto para desenvolvedores quanto para empresas

Uma abordagem unificada: Rust encontra Go

Apesar de todo o entusiasmo em torno do Rust, a Fase 2 não significa deixar o Golang para trás. Na verdade, a F5 e a Microsoft estão tomando medidas cuidadosas para garantir a compatibilidade entre os pipelines de Go e Rust. Os adaptadores e componentes existentes do OpenTelemetry Collector escritos em Golang continuarão recebendo suporte e manutenção. Isso garante a interoperabilidade, permitindo que as organizações escolham o melhor conjunto de ferramentas para seus fluxos de trabalho sem ficarem presas a uma única linguagem.

Essa abordagem unificadora está alinhada ao compromisso do OpenTelemetry de expandir o ecossistema, e não fragmentá-lo. Ao integrar pipelines de Rust e Go como parte de um fluxo de trabalho interconectado, a colaboração garante que o OpenTelemetry continue acessível à sua diversificada base de usuários.

Apoio e contribuições do setor

O Comitê de Governança do OpenTelemetry aprovou a Fase 2, reconhecendo a importância de explorar inovações baseadas em Rust e, ao mesmo tempo, manter a harmonia no ecossistema mais amplo do OpenTelemetry. As contribuições da F5, como a biblioteca “Beaubourg”, já forneceram uma base sólida para os próximos avanços.

Ao colaborarem nessa iniciativa, a F5 e a Microsoft não estão apenas otimizando o desempenho — estão abrindo portas para possibilidades empolgantes no mundo da telemetria. Esse investimento em inovação demonstra claramente o compromisso do OpenTelemetry em permanecer na vanguarda dos sistemas de telemetria de código aberto.

O que vem a seguir?

Para quem acompanha o progresso do OpenTelemetry com o Apache Arrow, a Fase 2 representa um grande avanço em eficiência, escalabilidade e flexibilidade. Ao explorar todo o potencial do Rust e do Apache Arrow, essa colaboração pode redefinir a forma como os dados de telemetria são produzidos, processados e consumidos.

Enquanto a comunidade técnica aguarda os resultados desta fase ambiciosa, uma coisa está clara: o OpenTelemetry com Apache Arrow está ajudando a moldar o futuro dos sistemas de observabilidade distribuída.

Fique por dentro para saber mais sobre os avanços da Fase 2 e como este projeto está abrindo caminho para um futuro de dados colunares de alto desempenho. Vamos construir em grande escala — e com rapidez.

A colaboração entre a F5 e a Microsoft representa o espírito da inovação de código aberto, e estamos entusiasmados para ver como esses esforços aprimorarão o OpenTelemetry para todos nós. Juntos, não estamos apenas adotando ferramentas modernas — estamos redefinindo o que é possível. Para saber mais, leia a publicação no blog da Microsoft.

Sobre o autor

Laurent Querel

Mais publicações de Laurent Querel