F5와 NVIDIA, 가속 AI 추론을 위한 새로운 기능으로 AI 팩토리의 경제성 향상

게시일: 2026년 3월 17일
연락처

BlueField DPU로 가속되는 F5 BIG-IP Next for Kubernetes는 토큰 처리량을 향상하고 토큰당 비용을 절감하며 안전한 멀티테넌트 AI 인프라를 구현하여 에이전틱 시대에 맞게 AI 팩토리를 혁신합니다

시애틀 – 모든 앱과 API의 제공 및 보안 분야를 선도하는 글로벌 기업 F5(NASDAQ: FFIV)는 오늘 지속적인 협력을 통해 NVIDIA와 함께 AI 추론 인프라를 가속화하고 최적화하기 위한 역량을 확대했다고 발표했습니다.

확장된 통합은 F5 BIG-IP Next for Kubernetes와 NVIDIA BlueField-3 DPU를 결합하여 GPU 활용도를 개선함으로써 토큰 처리량을 높이고, 지연 시간을 단축하며, 안전한 멀티테넌트 AI 플랫폼을 대규모로 구현할 수 있는 지능형 텔레메트리 인식 인프라 계층을 구축합니다.

AI 시스템에서 토큰은 AI 출력의 측정 가능한 단위, 즉 추론 과정에서 생성되고 처리되는 단어, 기호 또는 데이터 조각을 의미합니다. 토큰 생성량과 생성 속도는 궁극적으로 사용자 경험, 인프라 효율성 및 가속기당 수익을 좌우합니다.

기업과 GPUaaS 제공업체가 AI를 수익화하고 AI 실험 단계에서 수익 창출 서비스로 전환하기 위해 경쟁하면서, 인프라 효율성이 핵심 평가 지표로 자리 잡았습니다. 이제 성공 여부는 단순히 배포된 GPU 용량이 아니라 토큰 경제성, 지속적인 토큰 처리량, 첫 번째 토큰 생성 시간(TTFT), 토큰당 비용, GPU 가속기당 매출을 기준으로 평가되는 추세입니다. F5와 NVIDIA의 공동 솔루션은 이러한 지표를 직접 개선하도록 설계되었습니다.

지능형 AI 인프라를 통한 토큰 경제성 최적화

애플리케이션 중심 추론에서 에이전트 기반 AI 워크플로로 전환하려면 토큰 처리량을 최적화하고 비용을 절감하기 위한 새로운 아키텍처 접근 방식이 필요합니다. BIG-IP Next for Kubernetes는 이제 NVIDIA NIM 통계, Dynamo 런타임 신호 및 GPU 텔레메트리를 활용하여 실행 전에 추론을 고려한 라우팅 결정을 내립니다. 이 솔루션은 워크로드를 실시간으로 가장 적합한 가속기에 할당하여 지연 시간과 재연산을 줄이는 동시에 지속적인 활용률을 높입니다.

F5의 최고제품책임자(CPO) 쿠날 아난드(Kunal Anand)는 “AI 인프라는 더 이상 단순히 GPU에 액세스하거나 GPU 배포를 확장하는 데 그치지 않습니다. 이제는 가속기당 경제적 산출을 극대화하는 방향으로 발전했습니다”라고 말했습니다. “F5는 NVIDIA와 함께 AI 팩토리가 토큰 생산량을 측정 가능한 비즈니스 지표로 활용할 수 있도록 지원하고 있습니다. BIG-IP Next for Kubernetes는 GPU 수율을 높이고 토큰당 비용을 절감하며 공유 AI 플랫폼을 안정적으로 확장하는 데 필요한 인텔리전스와 거버넌스를 제공합니다.”

검증된 인프라 효율성: 구조적 향상

성능 수치가 모든 것을 말해 줍니다. The Tolly Group이 검증한 테스트에서 NVIDIA BlueField-3 DPU로 가속된 BIG-IP Next for Kubernetes는 최대 40%의 토큰 처리량 증가, 61% 단축된 첫 토큰 생성 시간(TTFT), 그리고 34%의 전체 요청 지연 시간 감소를 달성했습니다.

이는 단순한 점진적 개선이 아닙니다. 네트워킹, TLS/암호화, AI 인식형 부하 분산 및 트래픽 관리를 NVIDIA BlueField-3 DPU로 오프로드함으로써 BIG-IP Next for Kubernetes는 호스트 CPU 용량을 보존하고 GPU가 본연의 역할, 즉 대규모로 지속적인 고처리량 추론을 수행하는 데 집중할 수 있도록 합니다. 그 결과 GPU 활용률이 향상되고 대기열 지연이 감소하며 토큰 산출량이 증가하여, 고정된 인프라 규모 내에서 토큰당 비용을 절감할 수 있습니다. 특히 모델을 수정할 필요가 없으므로 기존 AI 팩토리 인프라 전반에 이러한 성능 향상을 즉시 적용할 수 있습니다. 토큰 경제성을 두고 경쟁하는 기업과 NeoCloud 제공업체에 있어 이는 AI 출력을 제한하는 인프라와 AI 출력을 가속하는 인프라를 가르는 차이입니다.

NVIDIA 네트워킹 부문 수석 부사장 케빈 다이어링은 “NVIDIA의 가속 컴퓨팅 인프라와 F5의 AI 인식형 애플리케이션 전송 및 보안 플랫폼을 결합하면 모델을 전혀 변경하지 않고도 확장 가능하고 비용 효율적인 추론을 제공해 AI 팩토리의 토큰 경제성을 크게 향상할 수 있습니다”라며 “F5와 NVIDIA는 함께 기업이 AI 팩토리의 추론을 효율적이고 경제적으로 확장할 수 있도록 지원하고 있습니다”라고 말했습니다.

에이전트 기반 AI 및 멀티테넌트 AI 플랫폼을 위한 설계

최신 AI 워크로드는 점점 더 에이전트 중심으로 변화하고 있으며, 지속적으로 실행되고 컨텍스트를 인식합니다. 이러한 워크로드에는 기존의 부하 분산으로는 제공할 수 없는 지능형 트래픽 제어가 필요합니다. 향상된 BIG-IP Next for Kubernetes 솔루션은 이제 다음을 지원합니다:

  • 에이전틱 AI 워크플로를 위한 추론 인식 라우팅
  • NVIDIA DOCA Platform Framework(DPF)와 통합하여 NVIDIA BlueField DPU의 배포 및 수명 주기 관리 간소화
  • 안전한 네트워크 수준의 멀티테넌시를 지원하는 동적 VRF 기반 EVPN-VXLAN
  • Kubernetes AI 환경 내 통합 보안, 토큰 거버넌스 및 관측 가능성

이러한 기능을 통해 기업과 NeoCloud 제공업체는 성능 격리와 예측 가능한 서비스 수준을 유지하면서 여러 사업부 또는 외부 고객이 GPU 인프라를 안전하게 공유할 수 있습니다.

AI 팩토리 경제성을 위한 제어 플레인

F5와 NVIDIA는 기업이 추론 아키텍처를 최적화할 수 있도록 검증된 도구와 모범 사례를 제공합니다. 이러한 발전을 바탕으로 BIG-IP Next for Kubernetes는 토큰 소비를 관리하고 트래픽 흐름을 최적화하며 인프라 투자 수익을 극대화하는 AI 팩토리 경제성을 위한 전략적 제어 플레인으로 자리매김하고 있습니다.

조직은 비효율을 보완하기 위해 리소스를 과도하게 프로비저닝하는 대신, 현재 운영 중인 모든 GPU에서 더 큰 경제적 가치를 창출할 수 있습니다. 그 결과 GPU당 매출이 증가하고 운영 오버헤드가 감소하며, 지속적인 성장을 지원하는 확장 가능한 AI 서비스를 구축할 수 있습니다. NVIDIA의 인프라 텔레메트리 및 DPU 가속 기술과 F5의 트래픽 인텔리전스 및 보안 역량을 결합함으로써, 양사는 기업이 AI 팩토리를 에이전틱 시대로 나아갈 준비가 된 효율적이고 수익 창출이 가능한 플랫폼으로 전환하도록 지원하고 있습니다.

관련 자료

F5 소개

F5, Inc.(NASDAQ: FFIV)는 모든 애플리케이션을 제공하고 보호하는 글로벌 선도 기업입니다. 30년간 축적한 전문성을 바탕으로 F5는 업계 최고의 플랫폼인 F5 Application Delivery and Security Platform (ADSP)을 구축하여 온프레미스, 클라우드, 엣지, 하이브리드 및 멀티클라우드 환경 등 어디서나 모든 애플리케이션과 API를 제공하고 보호합니다. F5는 빠르고 가용성이 뛰어나며 안전한 디지털 경험을 제공하기 위해 혁신을 지속하고 세계 최대 규모의 최첨단 조직들과 협력하는 데 전념하고 있습니다. 우리는 함께 서로의 성장을 돕고 더 나은 디지털 세상을 실현합니다.

자세한 내용은 다음 사이트를 참조하세요: f5.com
F5 Labs의 위협 연구 자료를 확인하세요: f5.com/labs
F5와 파트너 및 기술에 대한 자세한 소식을 확인하려면 다음 채널을 팔로우하세요: 블로그 | LinkedIn | X | YouTube | Instagram | Facebook

F5, BIG-IP 및 BIG-IP Next는 미국 및 기타 국가에서 F5, Inc.의 상표, 서비스 마크 또는 상호입니다. 여기에 언급된 기타 모든 제품명과 회사명은 해당 소유자의 상표일 수 있습니다. 이 보도자료에 설명된 협력은 F5와 NVIDIA 간의 합작 투자, 법적 파트너십 또는 대리 관계를 의미하지 않습니다.

미래예측진술
본 보도자료에는 F5와 NVIDIA의 통합에 따른 예상 성능, 효율성 및 경제적 이점에 관한 미래예측진술이 포함되어 있으며, 이러한 진술에는 위험과 불확실성이 수반됩니다.