F5 BIG-IP Next for Kubernetes를 활용한 AI 인식형 트래픽 관리

F5 에코시스템 | 2025년 9월 22일

AI 기반 앱으로 콘텐츠 초안을 작성하거나 이미지를 생성해 본 적이 있으신가요? 요청을 입력하고 엔터 키를 누른 뒤 기다리고, 또 기다렸는데도 한참 후에야 엉뚱하고 불필요한 세부 정보로 가득한 답변을 받은 적은요?

그 답답함도 문제지만, 진짜 중요한 것은 그 이면에서 벌어지는 일입니다. 이러한 AI 경험을 제공하는 기업은 고도로 최적화된 인프라를 직접 구축하거나, GPU-as-a-Service 및 LLM-as-a-Service 제공업체에 이를 맡겨야 합니다.

겉으로는 모든 것이 간단해 보이도록 만드는 일은 이러한 제공업체에 엄청난 과제입니다. 이들은 우리가 빠르고 안정적인 경험을 누릴 수 있도록 보이지 않는 곳에서 GPU 가동률을 높이고, 응답 시간을 단축하며, 토큰 사용량을 관리하는 부담을 떠안고 있습니다.

“지능과 프로그래밍 가능성의 결합은… 단순히 성능만을 위한 것이 아닙니다. AI 인프라의 예측 가능성과 적응성을 높이고 비용 효율성을 개선하도록 설계되었습니다.”

설상가상으로 AI 인프라의 세계에서 변하지 않는 것은 단 하나, 바로 변화입니다. 모델은 빠르게 진화하고, 워크로드는 예고 없이 급증합니다. 새로운 보안, 규정 준수 또는 라우팅 요구사항은 릴리스 주기보다 더 빠르게 등장하는 경우가 많습니다.

그렇기 때문에 지능적이고 프로그래밍 가능한 트래픽 관리는 단순히 있으면 좋은 기능이 아니라 반드시 필요한 요소입니다.

With NVIDIA BlueField-3 DPU에 배포된 F5 BIG-IP Next for Kubernetes 2.1을 통해 지능형 로드 밸런싱과 확장된 프로그래밍 기능을 결합하여 AI 인프라의 고유한 요구 사항을 충족함으로써 트래픽 관리를 한 차원 더 발전시키고 있습니다.

더 빠른 AI를 위한 더 스마트한 부하 분산

기존의 로드 밸런싱은 트래픽을 균등하게 분산합니다. 웹 앱에는 효과적이지만 AI의 경우에는 균등한 분산이 항상 효율적인 것은 아닙니다. 짧은 프롬프트를 토큰이 매우 많은 대규모 요청과 동일하게 처리해서는 안 됩니다. 그렇게 하면 GPU에 과부하가 걸리거나 추론 파이프라인이 중단되거나 리소스가 유휴 상태로 남을 수 있습니다.

BIG-IP Next for Kubernetes 2.1은 대기 중인 요청 큐, 키-값(KV) 캐시 사용량, GPU 부하, 비디오 랜덤 액세스 메모리(VRAM) 가용성 및 전반적인 시스템 상태를 포함하는 실시간 NVIDIA NIM 텔레메트리를 활용하여 로드 밸런싱을 더욱 지능적으로 수행합니다. BIG-IP Next for Kubernetes 2.1은 각 요청을 최적의 처리 대상으로 지능적이고 신속하게 라우팅합니다.

그 효과는 분명합니다:

활용률이 높을수록 토큰당 비용이 낮아집니다. GPU 활용률을 최적화하면 CPU 사이클을 확보하고 GPU 유휴 시간을 줄일 수 있습니다. 그 결과 서버당 더 많은 테넌트를 수용할 수 있고 과도한 리소스 프로비저닝도 줄어듭니다.
더 빠른 응답은 사용자의 만족도를 높입니다. 최초 토큰 생성 시간(TTFT)과 응답 지연 시간이 단축되면 사용자 경험이 더욱 원활해지고, 재시도는 줄어들며, 사용량은 늘어납니다.
수익화 개선은 확장 가능한 수익 모델로 이어집니다. 실시간으로 토큰 기반 할당량 제한과 등급제를 적용하면 수익화 범위를 명확히 설정하고 예측 가능한 가격 모델을 구축할 수 있습니다.

변화의 속도에 발맞추는 프로그래밍 기능

인텔리전스는 효율성을 제공하지만, 프로그래밍 기능은 제어권을 제공합니다. 향상된 프로그래밍 기능을 제공하는 F5 iRules를 BIG-IP Next for Kubernetes 2.1에서 지원함으로써, 고객이 다음 기능 릴리스를 기다리지 않고 즉시 변화에 대응할 수 있도록 주도권을 부여합니다.

오늘날 이는 LLM 라우팅(모델과 버전 간에 요청을 실시간으로 전달), 토큰 거버넌스(데이터 경로에서 직접 할당량 및 과금 적용), MCP 트래픽 관리(AI 에이전트 간의 모델 컨텍스트 프로토콜 트래픽 확장 및 보안)와 같은 기능을 이용할 수 있다는 의미입니다.

그리고 이는 시작에 불과합니다. 프로그래밍 가능성의 진정한 가치는 유연성에 있습니다. 새로운 모델, 서비스 수준 계약, 규정 준수 요구 사항이 등장함에 따라 공급자는 기본 제공 기능에 얽매이지 않고 자체 정책을 수립할 수 있습니다.

BIG-IP Next for Kubernetes 2.1의 지능과 프로그래밍 기능의 결합은 단순히 성능만을 위한 것이 아니라, AI 인프라의 예측 가능성과 적응성을 높이고 비용 효율성을 개선하도록 설계되었습니다.

AI 클라우드 제공업체가 컴퓨팅용 GPU 용량이나 AI 모델 또는 둘 다를 제공하는 경우에도, 이제 과도한 인프라 구축 없이 확장하고, 복잡성 없이 수익화하며, 성능 저하 없이 보안을 강화하고, 코드를 다시 작성하지 않고도 맞춤화할 수 있습니다.

제공업체 입장에서는 당면한 문제를 해결하는 데 낭비하는 시간을 줄이고 혁신과 성장에 더 집중할 수 있다는 의미입니다. 고객 입장에서는 더 빠르고 정확하며 신뢰할 수 있는 응답을 얻을 수 있다는 의미입니다. 이러한 보이지 않는 인프라의 성과 덕분에 모든 AI 상호작용이 매끄럽게 이루어지고, 사용자가 계속 찾게 되는 AI 경험을 제공할 수 있습니다.