Si las aplicaciones nativas de la nube fueran un puñado de mangueras de jardín, los sistemas de inferencia de IA y de agentes serían una red de aspersores industriales controlada por un niño pequeño con casco de bombero y un zumo. Crees que sabes adónde va el agua, pero no es así. Para cuando te das cuenta, algo caro ya está empapado.
Las cargas de trabajo de inferencia y la ejecución impulsada por agentes no se comportan como los servicios tradicionales. No siguen rutas de solicitud predecibles, no repiten los flujos de trabajo de forma sistemática ni fallan de manera controlada. Configuran su propio entorno de ejecución, cambian de rumbo en función de resultados parciales, vuelven a intentarlo cuando creen que es conveniente y consumen recursos en ráfagas muy variables. Si tu estrategia de observabilidad se basa en promedios, datos agregados o paneles que se actualizan cada 30 segundos, estás incurriendo en una negligencia operativa.
Impacto en el rendimiento
La latencia de inferencia no es una métrica única ni está vinculada a una sola capa. Depende de la selección del modelo, el número de tokens, la profundidad de la cola de la GPU, el tiempo de acceso a los datos de origen y cualquier malabarismo con los prompts que realice un agente sobre la marcha. Los agentes hacen que todo esto sea aún más caótico al bifurcar, encadenar o reintentar operaciones sin anunciar sus planes.
Si no puedes observar el rendimiento en términos de intención, generación de tokens, ruta del modelo y linaje de ejecución, acabarás culpando al componente equivocado, optimizando la capa incorrecta o escalando el recurso inadecuado. Mientras tanto, los usuarios (humanos o automatizados) se limitarán a concluir: «La IA es lenta».
Impacto en la disponibilidad
Las comprobaciones de estado tradicionales solo responden a la pregunta: «¿Ha respondido?». Las cargas de trabajo de IA necesitan saber: «¿Ha respondido dentro de los parámetros esperados para esta tarea?»
Los sistemas de inferencia rara vez dejan de funcionar; en su lugar, se degradan hasta ofrecer respuestas educadas, pero inservibles. Las respuestas lentas, los aciertos de caché obsoletos o las alucinaciones discretas pueden parecer resultados satisfactorios si no se dispone de visibilidad sobre el tipo de tarea, la latencia mínima esperada y los umbrales de calidad. A medida que los agentes acumulan decisiones, los reintentos se convierten en bucles invisibles que parecen tráfico normal hasta que algo acaba colapsando.
La pesadilla operativa aquí no es la inactividad, sino un resultado aparentemente satisfactorio que es incorrecto, incompleto o inadecuado para el contexto.
Impacto en la escalabilidad
No se puede escalar lo que no se puede ver y, desde luego, tampoco se pueden optimizar los costes de aquello que no se puede atribuir. La planificación de la capacidad de la IA debe tener en cuenta:
- Rendimiento de tokens
- Concurrencia de modelos y coste del cambio de modelo
- Saturación de la GPU
- Multiplicación de reintentos de agentes
- Coste por llamada
- Prolongación de la ejecución a lo largo de pasos encadenados
Sin ese nivel de visibilidad, se oscila entre el sobredimensionamiento (con el consiguiente coste económico) y el infradimensionamiento (llamadas al servicio de asistencia, responsables de producto enfadados y salas de crisis para gestionar incidencias críticas). Ninguna de las dos situaciones demuestra madurez; ambas evidencian una deuda de observabilidad.
Buenas prácticas
La observabilidad completa de la IA no consiste en recopilar más registros, sino en capturar telemetría con mayor rapidez, más detallada y alineada con el comportamiento, que permita comprender qué intentaba hacer la IA, qué hizo realmente y qué recursos consumió para lograrlo. Para ello, se necesita una instrumentación capaz de explicar no solo qué ocurrió, sino también por qué, bajo qué supuestos y a qué coste.
Esto implica rastrear el linaje de ejecución de los flujos de trabajo creados por agentes, elevar el coste y la latencia a la categoría de señales operativas de primer nivel, correlacionar el comportamiento del modelo con la intención en lugar de con los endpoints e incorporar las expectativas declaradas por los agentes a los metadatos de observabilidad. Los metadatos pasan de ser «información de la solicitud» a convertirse en un «contrato de ejecución» que incluye, en cada llamada, presupuestos de latencia, preferencias de reintento, etiquetas de sensibilidad de los datos, niveles de prioridad de los agentes y límites de coste.
A medida que esto evolucione, veremos surgir un plano de telemetría de alta velocidad: un flujo de datos diseñado específicamente para operar en menos de un milisegundo y capaz de capturar señales por token, por paso y por agente sin saturar el almacenamiento ni poner en riesgo los SLO. Este plano de telemetría probablemente se situará cerca de la capa de inferencia, admitirá la compresión semántica y ofrecerá información continua y de baja latencia sobre costes, capacidad, estado y alineación con la intención. Sin él, la observabilidad de la IA saturará los canales de procesamiento existentes o llegará demasiado tarde para resultar útil.
Los sistemas deberán ingerir, correlacionar y analizar esta telemetría prácticamente en tiempo real, no por lotes, y utilizarla para impulsar el enrutamiento adaptativo, la limitación de agentes, la selección de rutas de inferencia de menor coste y la detección temprana de flujos de trabajo descontrolados antes de que provoquen interrupciones o facturas inesperadas.
La entrega es diferente cuando la IA está presente
La IA no falla de forma clara, predecible ni evidente, y la observabilidad incompleta hace que no te des cuenta hasta que el negocio se ve afectado.
Si la inteligencia es la nueva capa de aplicación, la observabilidad debe pasar de «¿Qué ha ocurrido?» a «¿Qué se suponía que debía ocurrir, por qué seguimos este camino y mereció la pena en términos de latencia, riesgo y coste?»
Cuando puedas responder a eso en tiempo real, estarás preparado para la IA.
Más información sobre los 10 principales retos de la entrega de aplicaciones a los que se enfrentan las organizaciones de todo el mundo.
Sobre el autor
Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.
Más artículos de Lori Mac VittieArtículos relacionados del blog
Top 10 de riesgos en la entrega de aplicaciones de IA: falta de tolerancia a fallos y resiliencia
La IA hace que las carencias clásicas de resiliencia resulten mucho más costosas: los fallos de una sola GPU o dependencia se propagan por las cadenas de inferencia síncronas, acumulando latencia y degradando los resultados.
Las 10 principales amenazas en la entrega de aplicaciones de IA: prácticas de DNS deficientes
Para los sistemas de inferencia y los sistemas agénticos, la resiliencia del DNS es fundamental para la disponibilidad y el rendimiento: una resolución deficiente provoca errores de enrutamiento, picos de latencia e interrupciones del servicio en distintas regiones.
¿Qué es el Top 10 de entrega de aplicaciones?
F5 tiene como objetivo ayudar a las organizaciones a afrontar los retos relacionados con la entrega y la protección de aplicaciones, API e IA generativa mediante la lista de los 10 principales desafíos de la entrega de aplicaciones.
Comportamiento y límites: el cambio hacia la seguridad agéntica
Los agentes generan secuencias emergentes y sin límites en las que el riesgo se acumula con el tiempo. La seguridad debe pasar de validar solicitudes individuales a supervisar continuamente el comportamiento en flujos de varios pasos que evolucionan con el tiempo.
La IA está impulsando la aparición de nuevos tipos de tráfico
La adopción de la IA está dando lugar a nuevos tipos de tráfico de primer nivel: solicitudes de inferencia, tráfico de automatización generado por máquinas y tráfico de telemetría de gran volumen que alimenta los bucles de control.
De paquetes a prompts: la inferencia añade una nueva capa a la pila
La inferencia no es entrenamiento. No es experimentación. No es un ejercicio de ciencia de datos. La inferencia es un comportamiento en tiempo de ejecución en producción y funciona como una capa de aplicación.