F5 NGINX Plus가 AI 클러스터를 지원하는 방법

Liam Crilly제품 관리 부문 수석 이사

지난 10년간 NGINX Open Source는 전 세계에서 가장 널리 사용되는 웹 서버 중 하나이자 시장 점유율 기준 최고의 애플리케이션 전송 솔루션으로 자리매김해 왔습니다. 소규모 스타트업과 학술 연구 프로젝트부터 세계 최대 규모의 웹 애플리케이션에 이르기까지 다양한 환경에서 부하 분산과 리버스 프록시를 지원해 왔습니다.

NGINX는 애플리케이션 전송을 위한 기본 선택지로 자리 잡은 것처럼, 어느새 AI 애플리케이션의 학습과 서빙을 뒷받침하는 핵심축이 되었습니다. Intel OpenVINO Model Server, NVIDIA Morpheus, Meta의 vLLM, NVIDIA Triton 등을 비롯한 주요 AI 프레임워크, 툴킷, 라이브러리 및 플랫폼에는 F5 NGINX Plus (및 NGINX Open Source)를 위한 기본 구성이 포함되어 있어 gRPC/HTTP 프록시, SSL/TLS 종료, 상태 확인을 고려한 로드 밸런싱 및 동적 재구성을 별도의 설정 없이 처리할 수 있습니다. Kubernetes 클러스터에서 실행되는 수많은 AI 서비스와 솔루션은 모델 학습과 추론 모두에서 AI 클러스터로 들어오고 나가는 트래픽을 관리하기 위한 선호 옵션 중 하나로 F5 NGINX Ingress Controller를 꼽습니다. 내부를 들여다보면 AI가 있는 거의 모든 곳에서 이것이 실행되고 있음을 알 수 있습니다.

광범위한 AI 사용 사례에서 NGINX는 AI 스택을 구현하는 핵심 요소입니다. 파운데이션 모델을 미세 조정하거나, LLM의 토큰 출력을 스트리밍하거나, 요청을 실시간 이상 탐지 엔드포인트로 라우팅하는 경우에도 이미 그 경로에 NGINX가 있을 가능성이 높습니다.

AI 팀이 NGINX Plus를 선택하는 이유

• Kubernetes 네이티브 인그레스: 오늘날 대부분의 AI 플랫폼은 Kubernetes에서 실행되며, NGINX는 Run:ai, KServe, Ray Serve와 같은 도구에서 여전히 기본 또는 선호 인그레스로 사용됩니다. AI 앱이 하이브리드, 멀티 클라우드 및 엣지 환경으로 확장됨에 따라 NGINX Gateway Fabric은 가벼운 설치 공간과 세분화된 트래픽 제어 기능을 갖춘 Kubernetes 네이티브 Gateway API 구현을 제공하여, 메시의 복잡성을 추가하지 않고도 AI 팀이 라우팅, 재시도 및 관측성을 더욱 효과적으로 제어할 수 있도록 지원합니다.
• 대규모 동적 배포: AI 추론 워크로드에는 신중한 버전 관리와 무중단 운영이 필요한 고가치 GPU 기반 세션이 포함되는 경우가 많습니다. NGINX는 동적 구성 다시 로드, 가중치 기반 트래픽 분할, 능동 상태 확인을 지원하므로 팀은 진행 중인 세션을 중단하거나 GPU 대기열에 과부하를 주지 않고도 새 모델 버전을 안전하게 배포할 수 있습니다.
• 프로덕션 환경에 적합한 API 처리: Triton, vLLM, OpenVINO와 같은 모델 서버는 빠르고 구조화된 통신을 위해 gRPC 또는 HTTP/2를 사용합니다. NGINX는 이러한 프로토콜을 성숙도 높고 뛰어난 성능으로 지원하며, 연결 재사용, 세션 고정, TLS 종료, 요청 버퍼링 기능도 제공합니다. 이 모든 기능은 트래픽이 갑자기 급증하거나 연결이 장시간 유지되는 AI 추론 트래픽을 처리하는 데 필수적입니다.
• 운영 제어: NGINX Plus는 RESTful 구성 업데이트, 실시간 업스트림 관리, 엔터프라이즈급 웹 애플리케이션 방화벽(WAF)과 같은 고급 기능을 제공합니다. 여러 클러스터에 걸쳐 수십 또는 수백 개의 NGINX 인스턴스를 관리하는 팀을 위해 F5 NGINX One은 구성, 상태 및 보안 정책을 관리할 수 있는 중앙 집중식 콘솔을 제공합니다. 이는 액세스 및 위험 프로필이 서로 다른 여러 모델 유형이나 AI 사용 사례를 지원하는 팀에 적합합니다.
• F5 AI Gateway: AI 워크로드를 위해 특별히 설계된 AI 게이트웨이는 보안을 최우선으로 고려하는 AI 트래픽 처리 방식을 통해 NGINX의 기능을 확장합니다. 프롬프트 인젝션과 유해한 출력에 대한 맞춤형 보호 기능은 물론, 속도 제한과 사용량 할당량 기능도 제공하여 GPU 리소스가 제한된 환경에서 스크래핑, 트래픽 폭주 또는 통제 불능의 쿼리를 방지할 수 있습니다. 추론 경로별로 서로 다른 보안 규칙을 적용할 수 있습니다. 예를 들어 생성형 모델에는 더 엄격한 정책을 적용하면서 벡터 API에는 더 유연한 정책을 적용할 수 있습니다. 모든 트래픽은 토큰 또는 요청 수준에서 기록할 수 있으며, 이를 관측성 파이프라인에 연계하고 감사 요건을 충족하는 데 활용할 수 있습니다.

주요 AI 프레임워크, 도구 및 관리형 서비스에 NGINX 통합

NGINX는 여러 주요 AIOps 스택, 도구 및 관리형 서비스에서 기본적으로 선택되는 인그레스 솔루션 중 하나입니다.

AI 프레임워크

NGINX 활용 방식

실질적인 이점

Intel OpenVINO Model Serve F5와 Intel의 데모에서는 모델 샤드를 NGINX Plus 뒤에 배포합니다(YouTube). 하나의 게이트웨이에서 CPU, GPU 또는 VPU 백엔드로 라우팅할 수 있습니다.NVIDIA Triton Helm 차트는 gRPC 액세스를 위해 Triton을 NGINX Plus Ingress와 함께 설치합니다(GitHub). HTTP/2 멀티플렉싱으로 GPU 활용률을 높게 유지합니다.NVIDIA Morpheus "How I Did It" 가이드에서는 NGINX Plus Ingress를 통해 Morpheus를 보호하는 방법을 설명합니다(F5 Community). 실시간 보안 추론 앞단에서 TLS 오프로딩과 적응형 WAF를 제공합니다. NVIDIA (XLIO) NVIDIA Accelerated IO(XLIO) 기반으로 NGINX를 배포하는 방법을 안내합니다(docs.nvidia.com). OpenSSL 지원 빌드 지침과 샘플 파일을 포함해 향상된 TLS 오프로딩 및 성능 튜닝 방법을 제공합니다. Meta vLLM 공식 문서에서는 NGINX를 통해 여러 vLLM 인스턴스의 부하를 분산하는 방법을 설명합니다(vLLM). 텍스트 생성 엔드포인트를 빠르게 수평 확장할 수 있습니다.

MLOps 팀은 마이크로서비스와 API(AI 배포에 모두 필수적인 요소)를 관리하는 팀이 NGINX를 도입한 것과 같은 이유로 NGINX 제품을 손쉽게 적용할 수 있습니다. NGINX는 가볍고 모듈식이며 이식성이 뛰어나고, 매우 다양한 환경에서 대량의 토큰을 처리할 수 있습니다. AI 개발자와 머신 러닝 엔지니어는 플랫폼 또는 MLOps 팀이 구성한 컨테이너 이미지를 가져와 일반적인 AI 구성을 구축하는 과정에서 NGINX를 배포할 수 있습니다. NGINX는 널리 사용되는 대부분의 플랫폼 및 프로세서 아키텍처에서 하드웨어 가속과 통합됩니다.

NGINX를 기본 옵션으로 제공하는 AI 구성 요소는 로우 레벨 GPU 스케줄링부터 하이 레벨 모델 서빙, 배포 오케스트레이션, 엔터프라이즈급 거버넌스에 이르기까지 AI 인프라의 전 영역을 아우릅니다. 이러한 구성 요소는 추론 엔드포인트로 트래픽을 안전하게 라우팅하고, 확장 가능하고 효율적인 모델 제공을 지원하며, 멀티테넌트 클러스터 액세스를 관리하고, 버전 관리, 감사 및 규정 준수와 관련된 운영 정책을 적용하는 등 NGINX가 광범위한 사용 사례를 지원하는 방식을 보여줍니다.

• KServe: 배포 가이드에서는 추론 서비스의 트래픽을 라우팅하기 위해 기존 NGINX Ingress Controller 도메인이 있다고 가정합니다.
• Ray Serve: 문서에는 대시보드와 모델 엔드포인트를 외부에 노출하도록 NGINX Ingress Controller를 구성하는 방법이 포함되어 있습니다.
• Seldon Core v2: 프로덕션 배포 장에서는 카나리 및 섀도 트래픽 시나리오를 포함하여 Helm을 통해 NGINX Ingress Controller를 설정하는 방법을 설명합니다.
• Run:ai: 사전 요구 사항에는 멀티 테넌트 GPU 공유 Kubernetes 클러스터용으로 검증된 인그레스 컨트롤러로 NGINX가 명시되어 있습니다.
• AWS SageMaker: 설명서에서는 NGINX와 Gunicorn을 사용하여 사용자 지정 추론 컨테이너의 프런트엔드를 구성하는 예제를 제공합니다.
• Azure AKS: Microsoft는 클러스터 내부의 인그레스 트래픽을 위한 기본 제공 옵션으로 관리형 NGINX Ingress Controller를 제공합니다.
• DataRobot: 설치 지침에서는 EKS의 Portable Prediction Server로 경로 기반 라우팅을 수행하기 위해 NGINX Ingress Controller(v4.0.0 이상)를 사용할 것을 권장합니다.

NGINX는 MLOps로 가는 검증된 길을 제공합니다

이러한 플랫폼과 도구는 저수준 GPU 스케줄링부터 고수준 모델 서빙, 배포 오케스트레이션, 엔터프라이즈급 거버넌스에 이르기까지 AI 인프라의 전 영역을 아우릅니다. 이들은 NGINX가 추론 엔드포인트로 트래픽을 안전하게 라우팅하고, 확장 가능하고 효율적인 모델 제공을 지원하며, 멀티테넌트 클러스터 액세스를 관리하고, 버전 관리, 감사 및 규제 준수와 관련된 운영 정책을 적용하는 등 광범위한 사용 사례를 어떻게 지원하는지 보여줍니다. 이 목록은 계속 늘어나고 있으며, 차세대 AI 네이티브 기업들이 NGINX를 활용해 무엇을 만들어 낼지 기대됩니다.

AI 확장을 위한 지원을 받아보세요. F5 NGINX One을 활용할 수 있습니다.

작성자 소개

Liam Crilly제품 관리 부문 수석 이사

Liam Crilly의 다른 블로그 게시물