Kimi K3는 AI 업계에 또 하나의 스푸트니크 모멘트가 될 수 있습니다. 여기서 얻을 수 있는 가장 중요한 교훈은 단순히 오픈 웨이트 모델이 독점 모델의 최첨단 수준에 근접할 수 있다는 데 그치지 않습니다. 모델 구축은 경쟁의 절반일 뿐이며, 나머지 절반은 이를 효율적으로 서비스하는 것입니다. K3는 최첨단 지능을 제공하는 데 필요한 인프라뿐 아니라, 누가 이를 수익성 있게 제공할 수 있는지를 좌우하는 경제성까지 바꿉니다.
Kimi K3는 2조 8천억 개의 매개변수를 갖춘 전문가 혼합(Mixture-of-Experts) 모델입니다. 각 토큰마다 896개의 전문가 중 16개만 활성화되지만, 이 정도 규모에서는 전문가들을 효율적으로 분산하는 것이 최우선적인 시스템 과제가 됩니다. Moonshot AI는 고대역폭 통신 도메인을 통해 연결된 가속기를 최소 64개 이상 갖춘 슈퍼노드 구성을 권장합니다.
모델은 공개되어 있을지 모릅니다. 하지만 이를 안정적이고 신속하며 비용 효율적으로 제공하는 것부터 진정한 기술적·상업적 과제가 시작됩니다.
GPU 제공업체에게 모델의 성능과 서비스 제공 역량 사이의 격차는 위험과 기회가 동시에 발생하는 지점입니다. 사용자, 기업, 자율 에이전트가 최첨단 규모의 오픈 모델을 도입하면서 이러한 압박은 더욱 거세질 것입니다. 이 변화는 GPU 제공업체의 비즈니스 모델을 바꾸고 있습니다. 성공하려면 가속기를 확보하는 데 그치지 않고, 예측 가능한 지연 시간을 제공하고 테넌트 간 경계를 엄격히 적용하며 호스트 용량을 보존하고 각 랙에서 더 많은 고객 가치를 창출하는 서비스로 가속기를 통합해야 합니다.
“Kimi K3는 토큰을 효율적으로 생성하는 것이 과제의 일부일 뿐임을 보여줍니다. F5 BIG-IP Next for Kubernetes는 공급자가 이러한 토큰을 안전하고 안정적이며 수익성 있게 제공할 수 있도록 지원합니다.”
최소 단위가 더 커진다
GPU 클라우드 시장의 상당 부분은 개별 GPU와 1개, 4개 또는 8개의 가속기로 구성된 소규모 할당 등 파편화된 용량을 중심으로 구축되어 왔습니다. 이러한 구성은 소형 모델, 개발, 미세 조정 및 다양한 엔터프라이즈 워크로드에 여전히 유용합니다. 하지만 K3를 통합된 프런티어급 엔드포인트로 효율적으로 제공하기에는 충분하지 않습니다.
파라미터당 4비트로 계산하면 가중치만으로도 약 1.4테라바이트의 저장 공간이 필요하며, 여기에는 런타임 메모리, KV 캐시 및 기타 서빙 오버헤드는 포함되지 않습니다. 따라서 K3는 공급업체가 더 큰 규모의 GPU를 보장 할당하고, 고대역폭 스케일업 도메인과 NVIDIA GB200 NVL72 같은 랙 스케일 시스템을 도입하며, 토폴로지를 고려한 배치, 분리형 프리필 및 디코딩, 지속적인 KV 캐시 관리를 구현하도록 요구합니다.
이로 인해 서비스를 제공하기 위한 최소 단위가 개별 GPU에서 긴밀하게 연동되는 슈퍼노드로 커집니다. 이전에는 소규모 단위로 임대하던 용량을 더 큰 전용 풀로 재편해야 할 수도 있습니다. 가중치는 공유되지만, 인프라는 더욱 집중되고 비용도 증가합니다.
스케일업은 문제의 절반에 불과하다
NVIDIA는 이러한 유형의 워크로드를 위해 갈수록 정교해지는 아키텍처를 구축해 왔습니다. NVIDIA TensorRT-LLM Wide Expert Parallelism(Wide-EP)은 여러 GPU에 전문가를 분산하여 부하 분산을 개선하고 KV 캐시에 사용할 수 있는 GPU 메모리를 더 많이 확보합니다. 분리형 서빙은 프리필과 디코드를 분리해 각 단계를 독립적으로 확장할 수 있도록 하며, NVIDIA Dynamo 추론 프레임워크는 요청 라우팅, GPU 할당, KV 캐시 배치 및 고속 캐시 전송을 조율합니다.
이러한 기술은 GPU 스케일업 패브릭 전반에서 모델 실행과 동서 방향 통신을 최적화합니다. 하지만 모든 추론 요청은 여전히 서빙 환경으로 들어오고 나가야 합니다. 사용자 또는 에이전트의 요청을 수신하고, 인증 및 보안 처리를 거쳐 테넌트에 할당한 다음, 사용 가능한 엔드포인트로 라우팅하고, 관찰 및 사용량 측정을 수행하며, 서비스 수준 목표에 맞춰 제공해야 합니다.
랙 스케일 배포 환경에서 NVIDIA® BlueField® DPU는 사용자 요청, 토큰 응답, 텔레메트리, 스토리지 액세스, 클러스터 간 통신을 비롯한 노스-사우스 트래픽을 위한 전용 인프라 도메인을 제공할 수 있습니다. Kimi K3와 같은 모델로 인해 추론 처리량과 전반적인 서비스 트래픽이 증가함에 따라, DPU는 확장 가능하고 안전한 Kubernetes 기반 AI 서비스 제공을 위한 핵심 제어 지점으로서 그 중요성이 더욱 커집니다.
숨겨진 호스트 오버헤드
호스트 프로세서는 여전히 네트워킹, 프록시, 보안, Kubernetes 서비스, 요청 처리, 텔레메트리 등 GPU 워크로드를 둘러싼 다양한 기능을 지원합니다. 인프라에서 사용하는 CPU 코어가 늘어날수록 모델 서빙 소프트웨어, 오케스트레이션 또는 고가의 GPU를 효율적으로 가동하는 서비스에 사용할 수 있는 코어는 줄어듭니다.
NVIDIA BlueField DPU에 배포된 F5 BIG-IP Next for Kubernetes은 L4-L7 트래픽 처리, 암호화 및 보안 기능을 DPU로 이전하여 이 문제를 해결합니다. 타사 테스트에서 기존 HAProxy 배포는 호스트 CPU 코어를 약 12개 사용한 반면, NVIDIA BlueField DPU의 BIG-IP Next for Kubernetes는 약 2개를 사용하여 서버당 약 10개의 코어를 AI 서빙 환경에 돌려주었습니다.
BIG-IP Next for Kubernetes는 또한 BlueField에서 가속화된 트래픽 관리, 세분화, 테넌트 격리, 방화벽, DDoS 방어 및 정책 적용 기능을 제공하여 호스트 CPU의 보안 및 네트워킹 부담을 줄입니다. 더 광범위한 F5 서비스를 통해 엔드 투 엔드 환경 전반에서 WAF, API 보안 및 AI 보안으로 이러한 보호를 확장할 수 있습니다.
용량에서 고객 서비스로
광범위한 전문가 병렬 처리와 전문가 부하 분산은 내부 모델 서빙 효율성을 향상합니다. BIG-IP Next for Kubernetes는 이와는 다르지만 상호 보완적인 과제, 즉 이러한 처리 용량을 고객에게 안정적인 결과물로 제공하는 문제를 해결합니다.
타사 테스트에서 NVIDIA BlueField 기반의 BIG-IP Next for Kubernetes는 출력 토큰 처리량을 최대 47% 높이고, 첫 번째 토큰 생성 시간을 60% 단축하며, 토큰당 비용을 40% 절감했습니다. 이러한 결과는 특정 모델과 구성을 사용해 측정한 것이므로 Kimi K3의 성능에 대한 주장으로 해석해서는 안 됩니다. 고객이 얻는 결과는 모델, 트래픽 프로필, 하드웨어 및 서빙 아키텍처에 따라 달라질 수 있습니다.
그럼에도 불구하고, 이번 결과는 노스-사우스 전송 아키텍처가 출력 토큰 처리량, 첫 토큰 생성 시간, 토큰당 비용을 실질적으로 개선하여 운영자가 동일한 GPU 환경에서 더욱 안정적이고 수익을 창출하는 추론을 제공할 수 있도록 지원한다는 점을 보여줍니다.
이러한 차이는 에이전트에서 특히 중요합니다. 에이전트형 시스템은 모델 호출, 도구 실행, 상호 의존적인 의사 결정이 연쇄적으로 이어지는 구조를 만듭니다. 한 추론 단계의 시작 지연은 이후의 모든 단계를 지연시킵니다. 20초의 지연은 사람에게 불편을 주는 정도일 수 있지만, 수십 번의 에이전트 호출이 순차적으로 이어지면 서비스를 운영상 사용할 수 없는 상태로 만들 수 있습니다.
프런티어급 멀티테넌시
K3의 빠른 도입은 또 다른 과제를 부각합니다. 모델의 성능은 이를 제공하는 데 필요한 인프라보다 더 빠르게 발전할 수 있습니다. 공급자는 경제성을 확보하기 위해 대규모 서빙 시스템을 여러 고객이 공유하도록 해야 하지만, 프런티어급 슈퍼노드를 공유하려면 단순히 GPU 용량을 분할하는 것 이상의 조치가 필요합니다.
각 테넌트는 서로 격리되어야 합니다. 트래픽은 인증되고 통제되어야 합니다. 서비스 정책은 일관되게 적용되어야 합니다. 운영자는 리소스 사용량과 특정 워크로드가 다른 워크로드의 성능을 저하시키는지 여부를 파악할 수 있어야 합니다.
BIG-IP Next for Kubernetes는 Kubernetes 네이티브 트래픽 관리, 네트워크 세분화, 테넌트 격리, 정책 및 관측 가능성을 가속 인프라 경로에 통합합니다. 이를 통해 고가의 랙을 관리되지 않는 컴퓨팅 리소스 풀에서 안전하고 차별화된 AI 서비스로 전환할 수 있습니다.
추론을 위한 서비스 플레인
K3는 AI 팩토리에 AI 서비스 플레인이 필요한 이유를 보여줍니다. 스케일업 패브릭은 GPU 간 통신을 최적화합니다. 모델 서빙 소프트웨어는 추론을 실행합니다. 스케줄러는 워크로드를 배치하고 GPU를 할당합니다. AI 서비스 플레인은 애플리케이션, 에이전트 및 테넌트가 인프라를 사용하는 방식을 관리합니다.
BIG-IP Next for Kubernetes는 해당 서비스 플레인의 핵심 트래픽 제어 엔진 역할을 하며, 안전한 테넌트 액세스, 추론 트래픽 관리, 엔드포인트 복원력, 서비스 수준 적용, 사용량 가시성, 정책 및 안정적인 전송을 제공합니다.
Kimi K3가 모든 AI 배포에 DPU가 필요하다는 것을 입증하는 것은 아닙니다. 하지만 최첨단 추론이 풀스택 시스템의 문제로 발전하고 있으며, 전용 인프라 처리가 경제적으로 중요해지는 바로 그 조건을 조성하고 있음을 보여줍니다.
NVIDIA GB200 NVL72 시스템은 대규모 전문가 혼합 모델을 효율적으로 추론하도록 설계되었습니다. NVIDIA BlueField DPU에 배포된 F5 BIG-IP Next for Kubernetes는 공급자가 이러한 토큰을 안전하고 안정적이며 수익성 있게 제공할 수 있도록 지원합니다.
모델은 오픈 소스일 수 있습니다. 하지만 이를 서비스하는 데는 적지 않은 비용이 듭니다.
랙을 실제로 운영하고 그 원시 용량을 신뢰할 수 있는 멀티테넌트 서비스로 전환하는 주체가 마진을 가져갑니다.
자세히 알아보려면 F5 BIG-IP Next for Kubernetes 및 AI 인프라 솔루션 웹페이지를 살펴보세요.
작성자 소개
관련 블로그 게시물
추론 경로가 곧 트래픽 경로다: AI 보안이 자리해야 할 곳
이제 AI 트래픽에는 의도와 데이터, 작업이 담깁니다. AI 보안을 적용하는 데 추론 경로가 가장 중요한 지점이 된 이유를 알아보세요.
최전선 AI를 네트워크 경계에서 차단하기: 인라인 제어가 Mythos급 모델에 맞서는 핵심 우위인 이유
포스트-Mythos 시대에 사이버 방어가 어떻게 변화했으며, 조직이 통제 지점을 바꿔야 하는 이유를 알아봅니다.
애플리케이션 딜리버리 컨트롤러가 다시 전략적 의제로 떠오르고 있습니다
AI로 인해 애플리케이션 제공의 중요성이 더욱 커지고 있습니다. F5의 Nirav Shah가 새로운 Gartner® ADC 연구와 이것이 엔터프라이즈 인프라 의사 결정에 미치는 영향에 대해 설명합니다.
증거로 입증하는 AI 보안: Gartner SRM에서 선보일 내용
Gartner SRM에서의 세션을 앞두고, F5의 제품 마케팅 담당 수석 부사장이 F5가 세 가지 실질적인 단계를 통해 조직의 AI 보안을 어떻게 지원하는지 설명합니다.
파이프라인 속도 저하 없이 AI 데이터 파이프라인을 안전하게 보호하세요
AI 데이터 파이프라인 보안은 선택 사항이 아닙니다. 그 점은 분명합니다. 하지만 이를 제대로 보호하는 방법은 훨씬 불분명하며, 훨씬 더 어려운 과제입니다.
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
AI 워크로드에는 새로운 관점으로 설계된 스토리지가 필요합니다. AI 특유의 데이터 액세스 패턴은 레거시 인프라에 내재된 심각한 병목 현상과 비효율성을 여실히 드러냅니다.