오픈 소스 스포트라이트: Mesos 자동 확장

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

클라우드 덕분에 애플리케이션의 오토 스케일링은 확장성과 거의 동의어가 되었습니다. 오토 스케일링을 지원하지 못한다면, 대부분의 사람들은 확장성이 없다고 평가합니다.

클라우드, 컨테이너, 기존 환경 등 어떤 환경에서든 애플리케이션을 자동 확장하려면 여러 시스템에 걸친 특정 작업을 긴밀하게 조율해야 합니다. 이러한 조율은 클라우드와 컨테이너 환경 모두의 핵심 기반인 API를 통해 이루어집니다.

최근까지 Mesos를 사용한 애플리케이션 자동 확장은 대부분 수동으로 이루어졌습니다. 이는 컨테이너를 모놀리식 및 레거시 애플리케이션 배포에 활용한 Mesos 사용자의 절반 이상(51%)에게는 아마 별문제가 없었을 것입니다(설문 조사에 따르면). 하지만 리소스 효율성을 높이고 확장성을 통해 민첩성을 확보하고자 Mesos를 도입한 사용자에게는 지속 가능한 방식이 아닙니다. 애플리케이션 확장을 수동 방식에 의존해야 할 때마다 인적 오류의 위험이 발생하고, 트랜잭션당 비용을 높이는 운영 비용이 추가됩니다. 결국 사람들은 무료로 일하지 않으며, 애플리케이션을 확장하거나 축소하는 데 시간을 쓰면 조직의 성장과 성공에 필수적일 수 있는 다른 프로젝트에 집중할 수 없습니다. 또한 트랜잭션당 비용은 클라우드 및 컨테이너 환경에서 중요한 지표입니다. 이러한 환경을 효율적으로 활용하려는 목적 중 하나가 바로 해당 비용을 낮게 유지하는 것이기 때문입니다. 트랜잭션당 비용이 높을수록 수익이나 생산성은 낮아집니다. 그리고 오늘날에는 이 두 가지 모두 기업의 건전성을 나타내는 중요한 척도입니다.

Gaurav Kumar는 Mesos를 일찍 도입한 기업의 엔지니어로서 오픈 소스 정신에 걸맞은 방식으로 이 과제를 해결했습니다. 직접 하나를 만든 것입니다. API와 오픈 소스가 있기에 커뮤니티와 고객은 이런 일을 해낼 수 있습니다.

Mesos 내에서 앱을 F5 BIG-IP와 함께 자동 확장하려면 기존 오픈 소스 솔루션 두 가지가 필요했습니다:

1. Marathon용 F5 Container Connector, Marathon 이벤트를 수신한 다음 BIG-IP을 적절하게 구성하는 역할을 합니다.
2. 기존 오픈 소스 프로젝트인 BIG-IP 메트릭용 Prometheus 익스포터에서 포크된 BIG-IP Exporter로, BIG-IP에서 관련 텔레메트리(TCP 연결 수, HTTP 요청 수 등)를 수집합니다.

그런 다음 Kumar는 이 솔루션의 세 번째 구성 요소인 “DCOS/Marathon 서비스용 F5 기반 오토스케일링 구성 요소”(‘F5 Autoscaler’라고 함)를 개발했습니다.

F5 Autoscaler 구성 요소는 F5 Exporter에서 통계 데이터를 가져와 정의된 임계값과 비교합니다. 임계값 중 하나에 도달하면 F5 Autoscaler는 풀 멤버를 추가하도록 DCOS 마스터에 확장 요청을 보냅니다. Marathon은 평소와 마찬가지로 새 컨테이너/앱 인스턴스를 배포한 다음 Marathon용 F5 Container Connector를 통해 BIG-IP에 알림으로써 해당 요청을 처리합니다. 그러면 Marathon용 F5 Container Connector가 새 풀 멤버를 사용하도록 BIG-IP를 구성합니다.

짜잔! 앱이 자동으로 확장됩니다.

이 솔루션은 오픈 소스를 통해 조직이 비용과 출시 소요 시간을 줄이는 데 그치지 않고 더 많은 일을 할 수 있음을 잘 보여주는 사례입니다. 또한 실질적인 비즈니스 과제를 해결하기 위한 프레임워크를 제공합니다.

이번 스포트라이트에서 소개하는 오픈 소스 소프트웨어:

• F5 Marathon Autoscaler (github) (Docker) – 기여자: Gaurav Kumar
• F5 Exporter (github) - 기여자: ExpressenAB
• Prometheus F5 Exporter (github) – 기여자: Gaurav Kumar
• F5 컨테이너 커넥터 (github) (Docker) - 제공: F5 Networks
• DC/OS
• Marathon

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물