모든 산업의 기업 전반에서 오픈 소스 소프트웨어가 얼마나 널리 사용되는지를 보여주는 통계는 셀 수 없이 많습니다. 애플리케이션의 80% 이상이 오픈 소스 구성 요소로 이루어져 있으며, 인터넷은 사실상 오픈 소스 소프트웨어인 NGINX를 기반으로 작동합니다.
하지만 개방형 표준도 그에 못지않게 많습니다. 오픈 소스 커뮤니티 방식으로 개발되고 다듬어진 이러한 표준은 관련 제품, 프로젝트 및 인프라로 이루어진 놀라운 생태계를 만들어 냅니다.
OpenTelemetry는 이러한 노력 중 하나이며, 운영 데이터를 생성하고 수집하며 처리하는, 즉 텔레메트리를 처리하는 표준으로 자리 잡았습니다. 2023년 옵저버빌리티 혁신 보고서 응답자의 약 3분의 1(32%)은 “OpenTelemetry 지원이 필수적이며, 50%는 공급업체 제품에서 매우 중요하다고 답했습니다. 응답자의 3분의 1을 약간 넘는 36%는 조직 내에서 OpenTelemetry를 사용하고 있습니다.”
관찰 가능성은 전체 IT 스택에서 수집되는 데이터 포인트에 의존하므로 텔레메트리 표준화가 매우 중요합니다. 여기에는 매우 다양한 유형의 인프라와 시스템에서 생성되는 네트워크 메트릭, 서버 로그, 트레이스가 모두 포함됩니다. 단순한 애플리케이션조차도 수많은 요소가 유기적으로 작동하기 때문에 특정 시점의 앱 상태를 관찰하는 데 필요한 모든 데이터를 수집할 수 있는 단일 정보 소스는 존재하지 않습니다. 텔레메트리 생성 방식을 표준화하면 디지털 신호를 정규화하고, 분석 시 관련된 모든 데이터 포인트를 활용하여 정확하고 실행 가능한 인사이트를 도출할 수 있습니다.
하지만 텔레메트리를 표준화하더라도 풀스택 옵저버빌리티라는 궁극적인 목표를 달성하는 데 따르는 모든 과제가 해결되는 것은 아닙니다.
운영 데이터를 다룰 때 직면하는 가장 까다로운 문제 중 하나는 바로 데이터의 양입니다. 조직이 잠재적인 성능 문제나 공격 시도를 파악하기 위해 의존하는 디지털 신호는 다른 어떤 종류의 데이터보다도 훨씬 빠르고 폭발적으로 생성됩니다. F5는 전체 제품 포트폴리오의 표준으로 OpenTelemetry를 채택했기 때문에 이 문제를 누구보다도 가까이에서 직접 체감하고 있습니다. BIG-IP 및 NGINX와 같은 F5 제품은 애플리케이션과 디지털 서비스를 제공하고 보호하는 특성과 역할상 다양한 이유로 메트릭과 로그 같은 방대한 양의 데이터를 생성합니다. 이러한 데이터를 전송하고 처리하는 비용은 텔레메트리 파이프라인 관련 비용에서 상당한 비중을 차지합니다.
이러한 과제를 해결하기 위해 수석 엔지니어 Laurent Quérel은 Apache Arrow 프로젝트에 참여하고, 대용량 텔레메트리 처리 효율을 높이기 위해 OpenTelemetry 프로젝트와 협력하기 시작했습니다.
벤치마크 결과에 따르면 Apache Arrow는 텔레메트리 데이터를 전송하고 처리하는 데 상당한 이점을 제공하며, 특히 수백 개 이상의 엔터티를 하나의 배치로 묶을 수 있을 때 그 효과가 두드러집니다. 데이터를 열 기반으로 구성하면 압축 효율이 향상되며, 이러한 메모리 레이아웃은 다양한 캐시 계층과 SIMD 명령어의 활용을 최적화하여 처리 속도를 크게 높입니다. 또한 Arrow 생태계는 OpenTelemetry를 훌륭하게 보완하여 쿼리 엔진, 스트림 처리 파이프라인 및 특수 분석 파일 형식과의 통합을 강화합니다.
Apache Arrow와 Laurent의 작업에 대한 자세한 내용은 Apache Arrow 사이트에서 이 기술을 활용한 경험을 다룬 두 편의 글 중 첫 번째 글에서 확인할 수 있습니다.
작성자 소개
Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.
Lori Mac Vittie의 다른 블로그 게시물관련 블로그 게시물
AI 시대의 새로운 애플리케이션 제공 원칙으로 복잡성 극복하기
보안, 일관성, 완전 자동화에 중점을 둔 애플리케이션 제공의 새로운 6가지 원칙을 도입하여 복잡성 없이 하이브리드 멀티클라우드의 유연성을 누리세요.
디지털 혁신을 가속화하는 6가지 기술 역량
오늘날의 엔터프라이즈 아키텍처에는 기술 변화를 주도하는 데 핵심적인 민첩성, 확장성, 보안 및 관찰 가능성이 부족하지만, 이 여섯 가지 핵심 역량은 기업이 디지털 혁신 전반에 걸쳐 위험과 과제를 관리하는 데 도움이 될 것입니다.
하이브리드 근무가 ID 중심 보안으로의 전환을 이끌고 있습니다
자동화와 디지털화의 폭발적인 성장에 하이브리드 근무 모델로의 전환 추세가 더해지면서, IP 기반 보안에서 벗어나 ID 기반 액세스 전략으로 전환하는 움직임이 더욱 가속화될 것입니다.
관점의 현대화: 애플리케이션에서 경험으로
그리스와 로마의 신들처럼, 여러 신화에서도 동일한 존재가 다양한 모습으로 나타나는 것을 볼 수 있습니다. 본질적으로 각각의 화신은 기존 존재가 새로운 얼굴로 드러난 것입니다. 디지털 세계에서도 이와 비슷한 양상이 나타납니다. 우리가 ‘애플리케이션’이라고 부르는 것들은 흔히 기존 기능이 새로운 형태로 구현된 것이라 볼 수 있습니다.
코로나19 이후 기업 결제의 디지털 전환
디지털 결제는 과거의 현금만큼이나 보편화되었습니다. 코로나19 팬데믹으로 인한 봉쇄 조치는 소비자의 디지털 결제 서비스 의존도를 더욱 빠르게 높였습니다. 기업의 디지털 결제 도입 역시 가속화되었습니다. 대중을 상대로 영업하든 하지 않든 기업에는 여전히 지급해야 할 대금과 받아야 할 대금이 있기 때문입니다.
공급망 해킹과 보안에서 하드웨어의 역할
수석 아키텍트 Dave Schmitt와 CTO 오피스가 최근 Bloomberg의 Super Micro 관련 기사를 계기로 하드웨어 보안 전문성의 중요성을 되짚어봅니다. 또한 이 글에서는 시스템이 안전하게 보호되고 있는지 확인하기 위해 공급업체에 물어봐야 할 질문도 소개합니다.