O Kimi K3 pode representar mais um momento Sputnik para a IA. Sua lição mais importante não é apenas que modelos de pesos abertos podem se aproximar da fronteira dos modelos proprietários. Construir o modelo é apenas metade da corrida; disponibilizá-lo de forma eficiente é a outra metade. O K3 transforma tanto a infraestrutura necessária para oferecer inteligência de ponta quanto a viabilidade econômica de quem consegue fazê-lo de forma lucrativa.
O Kimi K3 é um modelo de Mistura de Especialistas com 2,8 trilhões de parâmetros. Apenas 16 de seus 896 especialistas são ativados para cada token, mas distribuir esses especialistas de forma eficiente torna-se um desafio de sistemas de primeira ordem nessa escala. A Moonshot AI recomenda configurações de supernós com pelo menos 64 aceleradores conectados por meio de um domínio de comunicação de alta largura de banda.
O modelo pode ser aberto. O verdadeiro desafio técnico e comercial começa na hora de disponibilizá-lo de forma confiável, rápida e econômica.
Para os provedores de GPUs, é nessa lacuna entre a capacidade do modelo e a prestação do serviço que surgem tanto os riscos quanto as oportunidades. Essa pressão só aumentará à medida que usuários, empresas e agentes autônomos adotarem modelos abertos de última geração. Essa mudança transforma o modelo de negócios dos provedores de GPUs. O sucesso depende não apenas da aquisição de aceleradores, mas também de sua integração em serviços que ofereçam latência previsível, garantam o isolamento entre locatários, preservem a capacidade dos hosts e gerem mais valor para os clientes a partir de cada rack.
“O Kimi K3 mostra que gerar tokens com eficiência é apenas parte do desafio. O F5 BIG-IP Next for Kubernetes ajuda os provedores a entregar esses tokens com segurança, confiabilidade e rentabilidade.”
A unidade mínima fica maior
Grande parte do mercado de GPUs na nuvem foi construída em torno de capacidade fragmentada: GPUs individuais e pequenas alocações de um, quatro ou oito aceleradores. Essas configurações continuam sendo úteis para modelos menores, desenvolvimento, ajuste fino e muitas cargas de trabalho empresariais. No entanto, elas não são suficientes para disponibilizar o K3 de forma eficiente como um endpoint unificado em escala de fronteira.
Com quatro bits por parâmetro, somente os pesos exigem aproximadamente 1,4 terabyte de armazenamento, sem contar a memória de execução, o cache KV e outros custos adicionais de disponibilização. Portanto, o K3 leva os provedores a oferecer alocações garantidas de GPUs maiores, domínios de expansão com alta largura de banda, sistemas em escala de rack, como o NVIDIA GB200 NVL72, posicionamento com reconhecimento de topologia, prefill e decodificação desagregados e gerenciamento contínuo do cache KV.
Isso eleva a unidade mínima viável de serviço de uma GPU individual para um supernó altamente coordenado. A capacidade que antes era alugada em pequenos incrementos talvez precise ser reorganizada em pools maiores e dedicados. Os pesos são compartilhados, mas a infraestrutura se torna mais concentrada e cara.
A expansão vertical é apenas metade do problema
A NVIDIA desenvolveu uma arquitetura cada vez mais sofisticada para essa classe de carga de trabalho. O NVIDIA TensorRT-LLM Wide Expert Parallelism (Wide-EP) distribui os especialistas entre várias GPUs, melhorando a distribuição de carga e disponibilizando mais memória de GPU para o cache KV. A inferência desagregada separa o preenchimento inicial (prefill) da decodificação, permitindo que cada fase seja dimensionada de forma independente, enquanto o framework de inferência NVIDIA Dynamo coordena o roteamento de solicitações, a alocação de GPUs, o posicionamento do cache KV e a transferência de cache em alta velocidade.
Essas tecnologias otimizam a execução de modelos e a comunicação leste-oeste na malha de expansão de GPUs. No entanto, toda solicitação de inferência ainda precisa entrar e sair do ambiente de serviço. Ela deve ser recebida de um usuário ou agente, autenticada, protegida, atribuída a um locatário, encaminhada a um endpoint disponível, monitorada, contabilizada e processada de acordo com um objetivo de nível de serviço.
Em implantações em escala de rack, as DPUs NVIDIA® BlueField® podem fornecer um domínio de infraestrutura dedicado ao tráfego norte-sul, incluindo solicitações de usuários, respostas de tokens, telemetria, acesso ao armazenamento e comunicação entre clusters. À medida que modelos como o Kimi K3 aumentam a taxa de transferência de inferência e o tráfego geral do serviço, a DPU se torna um ponto de controle cada vez mais importante para a disponibilização escalável e segura de IA baseada em Kubernetes.
O custo oculto do host
Os processadores do host ainda dão suporte a redes, proxies, segurança, serviços do Kubernetes, processamento de solicitações, telemetria e outras funções relacionadas à carga de trabalho da GPU. Cada núcleo de CPU consumido pela infraestrutura é um núcleo que deixa de estar disponível para softwares de disponibilização de modelos, orquestração ou serviços que mantêm GPUs caras produtivas.
F5 BIG-IP Next for Kubernetes implantado em DPUs NVIDIA BlueField enfrenta esse desafio transferindo o processamento de tráfego de L4 a L7, a criptografia e as funções de segurança para a DPU. Em testes realizados por terceiros, uma implantação convencional do HAProxy consumiu aproximadamente 12 núcleos de CPU do host, enquanto o BIG-IP Next for Kubernetes em DPUs NVIDIA BlueField utilizou aproximadamente dois, liberando cerca de 10 núcleos por servidor para o ambiente de fornecimento de IA.
BIG-IP Next for Kubernetes também oferece gerenciamento acelerado de tráfego, segmentação, isolamento de tenants, firewall, proteção contra DDoS e aplicação de políticas no BlueField, reduzindo a carga de segurança e rede sobre as CPUs do host. Os serviços mais abrangentes da F5 podem ampliar essa proteção com WAF, segurança de APIs e segurança de IA em todo o ambiente de ponta a ponta.
Da capacidade ao atendimento ao cliente
O Wide Expert Parallelism e o balanceamento de carga de especialistas melhoram a eficiência interna da disponibilização de modelos. O BIG-IP Next for Kubernetes aborda um desafio diferente, porém complementar: transformar essa capacidade em resultados confiáveis para os clientes.
Em testes realizados por terceiros, o BIG-IP Next for Kubernetes na NVIDIA BlueField proporcionou um aumento de até 47% na taxa de transferência de tokens de saída, uma redução de 60% no tempo até o primeiro token e uma redução de 40% no custo por token. Esses resultados foram medidos usando modelos e configurações específicos e não devem ser interpretados como alegações de desempenho do Kimi K3. Os resultados obtidos pelos clientes variam de acordo com o modelo, o perfil de tráfego, o hardware e a arquitetura de serviço.
Ainda assim, os resultados demonstram que a arquitetura de entrega norte-sul pode melhorar significativamente a taxa de transferência de tokens de saída, o tempo até o primeiro token e o custo por token, ajudando os operadores a produzir inferências mais confiáveis e geradoras de receita no mesmo ambiente de GPU.
Essa distinção é particularmente importante para agentes. Sistemas agênticos criam cadeias de chamadas a modelos, invocações de ferramentas e decisões interdependentes. A latência no início de uma etapa de inferência atrasa todas as etapas subsequentes. Um atraso de 20 segundos pode frustrar uma pessoa; ao longo de dezenas de chamadas sequenciais de agentes, pode tornar o serviço operacionalmente inviável.
Multilocação em escala de modelos de fronteira
A rápida adoção do K3 evidencia outro desafio: a capacidade dos modelos pode crescer mais rapidamente do que a infraestrutura disponível para disponibilizá-los. Os provedores precisarão compartilhar grandes sistemas de inferência entre vários clientes para alcançar uma viabilidade econômica aceitável, mas compartilhar um supernó em escala de fronteira exige mais do que simplesmente dividir a capacidade das GPUs.
Cada locatário deve ser isolado. O tráfego deve ser autenticado e controlado. As políticas de serviço devem ser aplicadas de forma consistente. Os operadores precisam ter visibilidade sobre o consumo e saber se uma carga de trabalho está prejudicando outra.
O BIG-IP Next for Kubernetes incorpora gerenciamento de tráfego nativo do Kubernetes, segmentação de rede, isolamento de locatários, políticas e observabilidade ao caminho da infraestrutura acelerada. Isso ajuda a transformar um rack caro, antes apenas um conjunto de recursos computacionais não gerenciados, em um serviço de IA seguro e diferenciado.
Um plano de serviços para inferência
O K3 demonstra por que as fábricas de IA precisam de um plano de serviços de IA. A malha de expansão vertical otimiza a comunicação entre GPUs. O software de disponibilização de modelos executa a inferência. Os agendadores distribuem as cargas de trabalho e alocam GPUs. O plano de serviços de IA controla como aplicações, agentes e locatários utilizam a infraestrutura.
O BIG-IP Next for Kubernetes atua como um mecanismo central de controle de tráfego para esse plano de serviços, oferecendo acesso seguro aos tenants, gerenciamento do tráfego de inferência, resiliência dos endpoints, aplicação de níveis de serviço, visibilidade do consumo, políticas e entrega confiável.
O Kimi K3 não prova que toda implantação de IA exija uma DPU. No entanto, ele mostra que a inferência de ponta está se tornando um problema de sistemas que abrange toda a pilha e cria exatamente as condições em que o processamento dedicado de infraestrutura se torna economicamente relevante.
O sistema NVIDIA GB200 NVL72 foi projetado para a inferência eficiente de grandes modelos de mistura de especialistas. O F5 BIG-IP Next for Kubernetes implantado em DPUs NVIDIA BlueField ajuda os provedores a entregar esses tokens com segurança, confiabilidade e rentabilidade.
O modelo pode ser aberto. Disponibilizá-lo não é barato.
Quem operacionaliza o rack e transforma sua capacidade bruta em um serviço multilocatário confiável fica com a margem.
Para saber mais, acesse nossas páginas sobre o F5 BIG-IP Next for Kubernetes e nossas páginas sobre soluções de infraestrutura de IA.
Sobre o autor

Publicações relacionadas no blog

IA agêntica em cibersegurança: promessas e riscos
Saiba por que o uso de IA agêntica na cibersegurança é essencial para combater ameaças impulsionadas por IA e por que os agentes também criam novos riscos para as empresas.

Como os clientes da F5 no setor financeiro lidam com a soberania digital sem desacelerar a inovação
Como é a soberania digital na prática? Dois projetos recentes da F5 com clientes mostram como diferentes empresas estão enfrentando esses desafios.

Soberania operacional: construindo resiliência em um mundo imprevisível
Para muitas organizações, a questão já não se resume apenas a controlar os dados. Trata-se de manter a capacidade de operar, adaptar-se e se recuperar à medida que as leis e as condições evoluem.

Segurança de IA com evidências: o que levaremos ao Gartner SRM
Antes de sua sessão no Gartner SRM, o vice-presidente sênior de Marketing de Produtos da F5 explica como a F5 ajuda as organizações a proteger a IA em três etapas práticas.

Gestão de riscos de IA: como as proteções podem ajudar a mitigá-los
O risco da IA é impulsionado por comportamentos probabilísticos e pela explicabilidade limitada, não apenas por falhas de segurança. Uma gestão eficaz exige controle operacional contínuo.
Lei de IA do Colorado (SB 205): o que as empresas precisam saber antes de 2026
A SB 205 do Colorado, a lei pioneira do estado sobre inteligência artificial, foi sancionada pelo governador Jared Polis em 17 de maio de 2024. O projeto de lei estabelece requisitos para que as empresas que utilizam IA implementem controles destinados a proteger os cidadãos do Colorado.