Todo el mundo quiere hablar de la IA como si todo empezara y terminara con las API. Con los modelos. Con vistosos paneles que dicen: «inferencia completada». Pero esa ilusión solo se mantiene si nunca miras bajo el capó.
Debajo de cada chatbot, agente, canalización RAG y capa de orquestación hay un servidor de inferencia. No es una metáfora. Ni una palabra de moda. Es un servidor de aplicaciones real que, en lugar de ejecutar un archivo JAR, ejecuta un modelo. Y, al igual que ocurre con los servidores de aplicaciones tradicionales, los motores de inferencia son el punto en el que el rendimiento falla, la observabilidad cobra importancia y se concentra realmente la superficie de ataque.
¿El problema? Casi nadie los trata como tales.
La inferencia en la empresa no es algo teórico
Según la Encuesta sobre infraestructura de IA de 2025 del Uptime Institute, el 32 % de los operadores de centros de datos ya admite cargas de trabajo de inferencia. Otro 45 % afirma que lo hará en los próximos meses. Esto no es algo experimental. Es un cambio en la infraestructura informática. Y es un cambio que, en gran medida, aún no somos capaces de ver.
Los servidores de inferencia no son algo teórico. Tienen nombre: vLLM, TGI, Triton y Ollama. Y no son intercambiables. Por ejemplo, se ha demostrado que vLLM supera a Hugging Face Transformers hasta 24 veces y ofrece un rendimiento sostenido más de 3 veces superior al de TGI gracias a mejoras arquitectónicas como PagedAttention y la planificación por lotes. No se trata de simples peculiaridades de optimización, sino de aspectos que tienen consecuencias para la infraestructura.
Hablamos de cifras reales: vLLM mantiene más de 500 tokens por segundo en modo por lotes, frente a los menos de 150 de TGI. Los tiempos de evaluación de los prompts se reducen en más de un 40 %, lo que se traduce directamente en respuestas más rápidas y un mejor aprovechamiento de la GPU. En un ciclo de producción, esa es la diferencia entre escalar la inferencia y quedarse bloqueado bajo carga.
Y no se trata solo de rendimiento. Herramientas como vLLM y Ollama ofrecen telemetría detallada: duración total, ventanas de evaluación a nivel de token y desglose entre prompt y respuesta. No solo indican el número de tokens, sino también cuándo, dónde y cuánto tardó en procesarse cada uno. Ese nivel de detalle permite diagnosticar desviaciones y aplicar medidas de protección. Sin él, se escala a ciegas.
Al igual que sus predecesores, los servidores de aplicaciones, la inferencia es el punto en el que la entrega y la seguridad de las aplicaciones convergen con la IA. Es donde se llevan a cabo el direccionamiento del tráfico y el equilibrio de carga; donde las cargas útiles se inspeccionan, analizan y procesan para garantizar la seguridad y la privacidad. Donde se depuran las instrucciones, se filtran las respuestas y se optimiza el rendimiento. Es el punto de control estratégico de las arquitecturas de IA en el que las organizaciones pueden abordar los diez principales retos de entrega que siempre afectan a las aplicaciones y las API, ya sean heredadas, modernas o de IA.
Por qué la inferencia se queda atrás
La inferencia suele pasarse por alto porque seguimos anclados en el mundo de las API. Pero si crees que la inferencia no es más que otro servicio detrás de un punto de entrada, es que no has intentado depurar un bucle RAG bajo carga. Ni rastrear fallos en cadenas de agentes simultáneas. Ni lidiar con la inyección de instrucciones en un modelo de lenguaje de gran tamaño (LLM) regulado que debe registrar cada decisión para su auditoría.
No es un problema teórico. Es un cuello de botella en la red a punto de producirse.
Los servidores de inferencia son el contenedor de tu modelo. Son el entorno de ejecución. El cuello de botella. El perímetro de seguridad. El lugar donde realmente se escala la IA. Un modelo son matemáticas. Es un conjunto de datos, una sofisticada hoja de cálculo de Excel. Eso no se escala; se carga en un servidor de inferencia, y eso es lo que se escala.
Así que, si de verdad quieres poner la IA en funcionamiento, deja de hablar de diagramas de arquitectura abstractos y empieza a plantear preguntas más difíciles:
- ¿Qué motores de inferencia estamos utilizando?
- ¿Dónde están desplegados?
- ¿Quién puede acceder a ellos?
- ¿Qué datos de telemetría recopilamos por cada solicitud?
No se trata de preocupaciones académicas, sino de realidades de la infraestructura. Y cuanto más tiempo las ignoremos, más frágiles serán nuestros despliegues de IA. Los modelos importan. Las API ayudan. Pero es en la inferencia donde la realidad se impone. Si no escalas la inferencia, no estás escalando la IA.
La inferencia es un componente fundamental de la infraestructura de IA
La mayoría de las organizaciones siguen adoptando un enfoque híbrido en lo que respecta a la IA, recurriendo a herramientas basadas en SaaS por comodidad mientras exploran con cautela la inferencia autoalojada. El problema es que el SaaS oculta las partes difíciles. La inferencia queda abstraída tras API elegantes e interfaces de usuario pulidas. No se ven los fallos del motor, la saturación de la GPU ni las variaciones en los tiempos de los prompts. Pero en cuanto se entra en el terreno del autoalojamiento (y se hará), se hereda todo eso. El rendimiento, la observabilidad y la seguridad no son meros aspectos «deseables», sino requisitos indispensables.
Si tu organización no entiende cómo funciona realmente la inferencia entre bastidores, no está desarrollando una estrategia de IA. Simplemente confía en que otros lo hayan hecho bien.
Sobre el autor
Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.
Más artículos de Lori Mac VittieArtículos relacionados del blog
Estrategias de seguridad para la IA multimodelo: dos medidas que adoptar ahora
Medidas clave que las empresas pueden adoptar hoy para mejorar la visibilidad de la IA multimodelo y la ciberseguridad ante el crecimiento explosivo de la IA agéntica.
Cómo pueden los CISO medir el riesgo de seguridad de la IA
Descubra cómo CASI, ARS y la inteligencia sobre amenazas de F5 Labs ayudan a los CISO a medir el riesgo de seguridad de la IA a lo largo de todo su ciclo de vida.
Tres medidas que los CISO no pueden permitirse posponer
Conclusiones de un estudio reciente de F5 y qué deben hacer los CISO para anticiparse a estas tendencias.
Inferencia: la pieza más importante de la IA que finges que no existe
Escalar la IA implica escalar la inferencia. Descubre por qué los servidores de inferencia son fundamentales para gestionar el rendimiento, la telemetría y la seguridad de las cargas de trabajo de IA en producción.
Cómo abordar las vulnerabilidades de las aplicaciones: prácticas recomendadas para las pruebas de seguridad
Tanto la magnitud como la complejidad de las vulnerabilidades de las aplicaciones están aumentando rápidamente. Descubre por qué es fundamental adoptar un enfoque proactivo y multicapa para las pruebas de seguridad.
¿Qué opina SecOps sobre la IA? Parte 2: Protección de datos
F5 llevó a cabo un análisis exhaustivo de las opiniones de los profesionales de la seguridad en Reddit sobre la IA.