Kimi K3 podría suponer otro momento Sputnik para la IA. Su lección más importante no es simplemente que los modelos de pesos abiertos puedan acercarse a la vanguardia de los modelos propietarios. Construir el modelo es solo la mitad de la carrera; la otra mitad consiste en ofrecerlo de forma eficiente. K3 cambia tanto la infraestructura necesaria para proporcionar una inteligencia de vanguardia como los aspectos económicos que determinan quién puede hacerlo de forma rentable.
Kimi K3 es un modelo de mezcla de expertos con 2,8 billones de parámetros. Solo se activan 16 de sus 896 expertos por cada token, pero distribuirlos de forma eficiente se convierte, a esta escala, en un reto de sistemas de primer orden. Moonshot AI recomienda configuraciones de supernodos con al menos 64 aceleradores conectados mediante un dominio de comunicación de gran ancho de banda.
Puede que el modelo sea abierto. El verdadero reto técnico y comercial comienza a la hora de ofrecerlo de forma fiable, rápida y rentable.
Para los proveedores de GPU, esa brecha entre las capacidades del modelo y la prestación del servicio es donde surgen tanto los riesgos como las oportunidades. Esta presión no hará sino intensificarse a medida que usuarios, empresas y agentes autónomos adopten modelos abiertos de vanguardia. Este cambio transforma el modelo de negocio de los proveedores de GPU. El éxito no depende únicamente de adquirir aceleradores, sino de integrarlos en servicios que ofrezcan una latencia predecible, garanticen el aislamiento entre clientes, preserven la capacidad del host y generen más valor para el cliente con cada rack.
“Kimi K3 demuestra que generar tokens de forma eficiente es solo una parte del reto. F5 BIG-IP Next for Kubernetes ayuda a los proveedores a entregar esos tokens de forma segura, fiable y rentable.”
La unidad mínima se hace más grande
Gran parte del mercado de GPU en la nube se ha desarrollado en torno a una capacidad fragmentada: GPU individuales y pequeñas asignaciones de uno, cuatro u ocho aceleradores. Estas configuraciones siguen siendo útiles para modelos más pequeños, tareas de desarrollo y ajuste fino, así como para muchas cargas de trabajo empresariales. Sin embargo, no bastan para ofrecer K3 de forma eficiente como un endpoint unificado a escala de modelos de vanguardia.
Con cuatro bits por parámetro, solo los pesos requieren aproximadamente 1,4 terabytes de almacenamiento, sin contar la memoria de ejecución, la caché KV y otros recursos adicionales necesarios para la inferencia. Por tanto, K3 obliga a los proveedores a ofrecer mayores asignaciones garantizadas de GPU, dominios de escalado vertical de gran ancho de banda, sistemas a escala de rack como NVIDIA GB200 NVL72, una asignación que tenga en cuenta la topología, fases de prefill y decodificación desagregadas, y una gestión continua de la caché KV.
Esto eleva la unidad mínima viable de servicio de una GPU individual a un supernodo estrechamente coordinado. Es posible que la capacidad que antes se alquilaba en pequeños incrementos deba reorganizarse en grupos dedicados de mayor tamaño. Los pesos se comparten, pero la infraestructura se vuelve más concentrada y costosa.
El escalado vertical es solo la mitad del problema
NVIDIA ha desarrollado una arquitectura cada vez más sofisticada para este tipo de carga de trabajo. NVIDIA TensorRT-LLM Wide Expert Parallelism (Wide-EP) distribuye los expertos entre numerosas GPU, lo que mejora la distribución de la carga y deja más memoria de GPU disponible para la caché KV. El servicio desagregado separa el prellenado de la decodificación para que cada fase pueda escalarse de forma independiente, mientras que el framework de inferencia NVIDIA Dynamo coordina el enrutamiento de solicitudes, la asignación de GPU, la ubicación de la caché KV y la transferencia de caché a alta velocidad.
Estas tecnologías optimizan la ejecución de los modelos y la comunicación este-oeste a través de la infraestructura de interconexión de GPU. Sin embargo, todas las solicitudes de inferencia deben seguir entrando y saliendo del entorno de servicio. Cada solicitud debe recibirse de un usuario o agente, autenticarse, protegerse, asignarse a un inquilino, dirigirse a un punto de conexión disponible, supervisarse, medirse y procesarse conforme a un objetivo de nivel de servicio.
En implementaciones a escala de rack, las DPU NVIDIA® BlueField® pueden proporcionar un dominio de infraestructura dedicado al tráfico norte-sur, incluidas las solicitudes de los usuarios, las respuestas de tokens, la telemetría, el acceso al almacenamiento y la comunicación entre clústeres. A medida que modelos como Kimi K3 aumentan el rendimiento de la inferencia y el tráfico general del servicio, la DPU se convierte en un punto de control cada vez más importante para ofrecer servicios de IA escalables, seguros y basados en Kubernetes.
El coste oculto para el host
Los procesadores host siguen encargándose de las redes, los proxies, la seguridad, los servicios de Kubernetes, la gestión de solicitudes, la telemetría y otras funciones relacionadas con la carga de trabajo de las GPU. Cada núcleo de CPU que consume la infraestructura es un núcleo que deja de estar disponible para el software de servicio de modelos, la orquestación o los servicios que mantienen productivas unas GPU costosas.
F5 BIG-IP Next for Kubernetes implementado en DPU NVIDIA BlueField aborda este reto trasladando al DPU el procesamiento del tráfico de las capas 4 a 7, el cifrado y las funciones de seguridad. En pruebas realizadas por terceros, una implementación convencional de HAProxy consumió aproximadamente 12 núcleos de CPU del host, mientras que BIG-IP Next for Kubernetes en DPU NVIDIA BlueField utilizó aproximadamente dos, lo que permitió recuperar unos 10 núcleos por servidor para el entorno de inferencia de IA.
BIG-IP Next for Kubernetes también proporciona gestión acelerada del tráfico, segmentación, aislamiento de inquilinos, firewall, protección contra DDoS y aplicación de políticas en BlueField, lo que reduce la carga de seguridad y red sobre las CPU del host. Los servicios más amplios de F5 pueden ampliar esta protección con WAF, seguridad de API y seguridad de IA en todo el entorno de extremo a extremo.
De la capacidad al servicio al cliente
El paralelismo amplio de expertos y el equilibrio de carga entre expertos mejoran la eficiencia interna del servicio de modelos. BIG-IP Next for Kubernetes aborda un reto diferente, pero complementario: convertir esa capacidad en resultados fiables para los clientes.
En pruebas realizadas por terceros, BIG-IP Next for Kubernetes en NVIDIA BlueField ofreció un rendimiento de tokens de salida hasta un 47 % superior, un tiempo hasta el primer token un 60 % menor y un coste por token un 40 % inferior. Estos resultados se midieron utilizando modelos y configuraciones específicos y no deben interpretarse como afirmaciones sobre el rendimiento de Kimi K3. Los resultados de los clientes variarán en función del modelo, el perfil de tráfico, el hardware y la arquitectura de servicio.
Aun así, los resultados demuestran que la arquitectura de entrega norte-sur puede mejorar considerablemente el rendimiento de los tokens de salida, el tiempo hasta el primer token y el coste por token, lo que ayuda a los operadores a obtener inferencias más fiables y rentables con el mismo entorno de GPU.
Esta distinción es especialmente importante para los agentes. Los sistemas agénticos crean cadenas de llamadas a modelos, invocaciones de herramientas y decisiones dependientes. La latencia al inicio de un paso de inferencia retrasa todos los pasos posteriores. Un retraso de 20 segundos puede frustrar a una persona; si se acumula a lo largo de decenas de llamadas secuenciales de agentes, puede hacer que el servicio resulte inutilizable desde el punto de vista operativo.
Multiinquilinato a escala de modelos de vanguardia
La rápida adopción de K3 pone de relieve otro reto: la capacidad de los modelos puede crecer más rápido que la infraestructura disponible para ofrecerla. Los proveedores tendrán que compartir grandes sistemas de servicio entre varios clientes para lograr una rentabilidad aceptable, pero compartir un supernodo a escala de frontera requiere algo más que dividir la capacidad de las GPU.
Cada inquilino debe estar aislado. El tráfico debe autenticarse y gestionarse. Las políticas de servicio deben aplicarse de forma coherente. Los operadores necesitan visibilidad sobre el consumo y saber si una carga de trabajo está perjudicando a otra.
BIG-IP Next for Kubernetes incorpora la gestión del tráfico nativa de Kubernetes, la segmentación de red, el aislamiento de inquilinos, las políticas y la observabilidad a la ruta de infraestructura acelerada. Esto ayuda a transformar un costoso rack, que pasa de ser un conjunto de recursos informáticos sin gestionar a convertirse en un servicio de IA seguro y diferenciado.
Un plano de servicios para la inferencia
K3 demuestra por qué las fábricas de IA necesitan un plano de servicios de IA. La red de escalado vertical optimiza la comunicación entre las GPU. El software de servicio de modelos ejecuta la inferencia. Los planificadores distribuyen las cargas de trabajo y asignan las GPU. El plano de servicios de IA controla cómo las aplicaciones, los agentes y los inquilinos consumen la infraestructura.
BIG-IP Next for Kubernetes actúa como motor central de control del tráfico para ese plano de servicios, proporcionando acceso seguro a los inquilinos, gestión del tráfico de inferencia, resiliencia de los puntos de conexión, aplicación de los niveles de servicio, visibilidad del consumo, políticas y entrega fiable.
Kimi K3 no demuestra que todas las implementaciones de IA requieran una DPU. Sí demuestra que la inferencia de vanguardia se está convirtiendo en un problema de sistemas que abarca toda la pila tecnológica y crea precisamente las condiciones en las que el procesamiento dedicado de la infraestructura adquiere importancia económica.
El sistema NVIDIA GB200 NVL72 está diseñado para realizar de forma eficiente la inferencia de grandes modelos de mezcla de expertos. F5 BIG-IP Next for Kubernetes, implementado en DPU NVIDIA BlueField, ayuda a los proveedores a entregar esos tokens de forma segura, fiable y rentable.
El modelo puede ser abierto. Ofrecerlo como servicio no es barato.
Quien ponga en funcionamiento el rack y convierta su capacidad bruta en un servicio multiinquilino fiable se quedará con el margen.
Para obtener más información, consulta nuestras páginas web sobre F5 BIG-IP Next for Kubernetes y nuestras soluciones de infraestructura de IA.
Sobre el autor
Artículos relacionados del blog
IA agéntica en ciberseguridad: promesas y riesgos
Descubre por qué el uso de la IA agéntica en ciberseguridad es esencial para combatir las amenazas impulsadas por IA y por qué los agentes también generan nuevos riesgos empresariales.
Cómo los clientes de F5 del sector financiero abordan la soberanía digital sin frenar la innovación
¿Cómo se materializa la soberanía digital en el mundo real? Dos proyectos recientes de F5 con clientes muestran cómo distintas empresas están afrontando estos retos.
Soberanía operativa: cómo desarrollar resiliencia en un mundo impredecible
Para muchas organizaciones, la cuestión ya no consiste únicamente en controlar los datos, sino en mantener la capacidad de operar, adaptarse y recuperarse a medida que evolucionan las leyes y las circunstancias.
No se puede proteger una conversación con un cortafuegos: cómo el red teaming de IA se volvió esencial
Dado que las implementaciones de IA avanzan a la velocidad de las máquinas, los métodos tradicionales de prueba de software ya no resultan adecuados.
Protege tu canalización de datos de IA sin ralentizarla
Proteger el flujo de datos de la IA no es opcional. Eso está claro. Lo que resulta mucho menos evidente —y mucho más difícil— es cómo protegerlo adecuadamente.
Las extranets no están muertas; solo necesitan una actualización
Modernice su extranet: descubra cómo F5 y Equinix ofrecen una conectividad para partners repetible, segura y escalable, sin la complejidad de las redes tradicionales.