El sector está entrando en una nueva fase de la infraestructura de IA.
La primera oleada de IA generativa se centró en crear y entrenar modelos. La siguiente fase consiste en operar la IA a gran escala. Las empresas, los hiperescaladores y una nueva generación de proveedores de neocloud están construyendo lo que denominamos «fábricas de IA». Estos entornos están diseñados para generar tokens con la máxima eficiencia, fiabilidad y seguridad posibles.
En estos entornos, cada milisegundo de latencia y cada punto porcentual de utilización de la GPU cuentan.
En las pruebas de The Tolly Group, F5 BIG-IP Next for Kubernetes ejecutándose en DPU NVIDIA BlueField ofreció un rendimiento de tokens hasta un 40 % mayor, un tiempo hasta el primer token un 61 % más rápido y una latencia de las solicitudes un 34 % menor en comparación con las soluciones tradicionales de equilibrio de carga.
Las GPU se encuentran entre los componentes más caros de los centros de datos modernos. Cuando las solicitudes se enrutan de forma ineficiente o las GPU están infrautilizadas, las organizaciones están desaprovechando capacidad de computación y malgastando dinero.
Sin embargo, muchas implementaciones de IA siguen dependiendo del balanceo de carga tradicional por turnos (round-robin), que distribuye las solicitudes sin tener en cuenta el estado en tiempo real de la infraestructura de GPU. Este enfoque funcionaba bien para las aplicaciones web tradicionales, pero no es suficiente para la inferencia de IA.
La importancia de una infraestructura consciente de las GPU
Los entornos de inferencia de IA son fundamentalmente distintos de las arquitecturas de aplicaciones tradicionales.
Los clústeres de inferencia están formados por conjuntos de GPU que ejecutan grandes modelos de lenguaje y otras cargas de trabajo de IA. En un momento dado, cada GPU puede estar procesando cargas de trabajo muy diferentes en función de factores como la profundidad de la cola, el tiempo de ejecución del modelo, la longitud de generación de tokens y el uso de la memoria.
Cuando el tráfico se distribuye sin tener en cuenta la carga, las solicitudes pueden dirigirse fácilmente a GPU que ya están ocupadas mientras otros aceleradores permanecen infrautilizados. El resultado es una mayor latencia de respuesta y un uso ineficiente de la infraestructura.
Por eso, la infraestructura de IA debe tener en cuenta las cargas de trabajo.
En F5, creemos que la capa de infraestructura debe evolucionar para poder distribuir de forma inteligente las solicitudes de inferencia de IA en función de las condiciones del entorno en tiempo real.
Validación independiente de The Tolly Group
Para comprender mejor el impacto del balanceo de carga con reconocimiento de GPU, encargamos a The Tolly Group, una empresa independiente de validación tecnológica, que evaluara nuestro enfoque frente a las soluciones tradicionales de balanceo de carga.
Los resultados fueron contundentes. En las pruebas de The Tolly Group, F5 BIG-IP Next for Kubernetes ejecutándose en DPU NVIDIA BlueField logró alcanzar:
- Un 40 % más de rendimiento de tokens
- Tiempo hasta el primer token un 61 % más rápido
- Un 34 % menos de latencia en las solicitudes
Estas mejoras se midieron en comparación con soluciones de balanceo de carga de código abierto ampliamente utilizadas.
Una observación interesante de las pruebas fue que las ventajas resultaban aún más evidentes con modelos más pequeños, en los que una distribución eficiente del tráfico puede tener un impacto todavía mayor en el rendimiento del sistema.
Descarga del procesamiento de la infraestructura mediante DPU
Otra dimensión importante de esta arquitectura es la descarga del procesamiento de la infraestructura.
En muchas implementaciones actuales, las funciones de gestión del tráfico se ejecutan directamente en la CPU del servidor junto con las cargas de trabajo de IA. Esto significa que las tareas de infraestructura consumen valiosos recursos de la CPU, en lugar de destinarlos a las cargas de trabajo de las aplicaciones.
Al ejecutar F5 BIG-IP Next for Kubernetes en DPU NVIDIA BlueField, las funciones de gestión del tráfico pueden descargarse de la CPU del servidor y transferirse a la DPU.
En las pruebas de The Tolly Group, la diferencia fue significativa. BIG-IP Next for Kubernetes ejecutándose en DPU Nvidia BlueField necesitó unos 2 núcleos de CPU, mientras que el balanceo de carga tradicional basado en CPU necesitó aproximadamente 12 núcleos.
Esto supone una reducción de aproximadamente el 80 % en el uso de la CPU, lo que permite que esos recursos de CPU sigan estando disponibles para otras cargas de trabajo.
El futuro de la infraestructura de IA
A medida que las fábricas de IA crezcan, la eficiencia de la infraestructura se convertirá en uno de los factores más importantes para determinar el éxito de las implementaciones de IA.
Las organizaciones deberán maximizar el uso de las GPU, minimizar la latencia, mejorar el rendimiento de los tokens y garantizar la seguridad y el aislamiento de la infraestructura. Para alcanzar estos objetivos se necesita una infraestructura que comprenda la dinámica de las cargas de trabajo de IA; el balanceo de carga optimizado para GPU y la infraestructura acelerada mediante DPU son pasos importantes hacia ese futuro.
En F5, creemos que la infraestructura inteligente desempeñará un papel fundamental a la hora de hacer posible la próxima generación de fábricas de IA. Los resultados validados por The Tolly Group representan un avance muy prometedor en esa dirección. Puede obtener una copia completa del informe aquí.
Además, no deje de visitar la página web de F5 BIG-IP Next for Kubernetes.
Sobre el autor
Artículos relacionados del blog
El imperativo empresarial de la IA en un mundo de nube híbrida y multinube
Cómo la IA redefine los patrones de tráfico, el riesgo de las API y el cumplimiento normativo, y por qué el paquete Distributed Cloud Services Enterprise ofrece la profundidad necesaria en entornos híbridos multicloud.
STIG de F5 NGINX: un plan de seguridad para el sector público y los entornos regulados
Descubra cómo las STIG de F5 NGINX proporcionan un modelo de seguridad para el Departamento de Defensa de EE. UU. y los entornos regulados, ayudándole a cumplir la normativa mientras crea una infraestructura sólida de confianza cero con mayor visibilidad y resiliencia.
Cómo el marco AEGIS de Forrester valida un enfoque centrado en la inferencia
El auge de la IA agéntica está transformando el panorama de la seguridad empresarial. Estos agentes de IA autodirigidos funcionan de forma autónoma, toman decisiones en tiempo real y pueden interactuar entre distintos sistemas de maneras para las que las arquitecturas tradicionales de ciberseguridad no fueron diseñadas. Aunque esto abre nuevas posibilidades, también introduce riesgos sistémicos: fallos en cascada, secuestro de objetivos y superficies de ataque hasta ahora invisibles. El reciente […] de Forrester
La nueva superficie de riesgo de la IA: invisible, autónoma y ya está dentro
James White, vicepresidente de Ingeniería de F5 A mediados de 2025, es un buen momento para hacer balance de la adopción de la IA en las empresas y del estado de la seguridad de la IA. El uso de la IA generativa ya es habitual en las empresas En general, las empresas cuentan al menos con unos conocimientos básicos sobre la IA generativa. Entienden qué es y dónde puede […]
Protegiendo el futuro: cómo CalypsoAI se alinea con el Top 10 de OWASP para los LLM
Cuando OWASP publicó su Top 10 de 2025 para grandes modelos de lenguaje (LLM), proporcionó al sector un referente de seguridad muy necesario. Pero los referentes no sirven de nada si no se actúa. CalypsoAI aborda el 80 % del Top 10 de OWASP, dando prioridad a los riesgos reales más urgentes. La plataforma combina protección en tiempo real durante la ejecución y pruebas adversariales exhaustivas, ofreciendo una cobertura inigualable frente a las […]
Implementación de LLM en la empresa: mediante una API local
Por sí solos, sin medidas de protección ni protocolos adicionales de seguridad para la IA, el despliegue de modelos de IA generativa —en particular, modelos de lenguaje de gran tamaño (LLM)— en toda la empresa supone una oportunidad de alto riesgo y grandes beneficios para cualquier organización. Sin embargo, determinar exactamente cómo debe dar su organización este gran paso hacia el ámbito de la IA generativa requiere una planificación minuciosa. Quizá […]