Los 10 principales riesgos en la entrega de aplicaciones de IA: incapacidad para gestionar la latencia

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

La latencia siempre ha sido eso que todos fingimos que es «solo una cuestión de rendimiento», hasta que empieza a minar la confianza de los usuarios, a disparar el volumen de incidencias y a convertir discretamente tu presupuesto en una hoguera. El documento original ADC06 lo plantea acertadamente como un problema de entrega de aplicaciones, porque la latencia rara vez se limita a una sola capa y nunca se comporta de forma predecible. La IA intensifica esta dinámica, la encarece y hace que sea mucho más difícil ocultarla tras un indicador de carga.

La razón es sencilla. Las experiencias con IA son interactivas, y las personas perciben la demora de forma distinta cuando esperan una respuesta que parece formar parte de una conversación. Que una página tarde en cargar resulta molesto. Que un «asistente» tarde en responder da la sensación de que algo no funciona bien y, cuanto más se prolonga la espera, más tiende el usuario a pasar mentalmente de considerar el sistema «útil» a verlo como «poco fiable», sin necesidad de consultar ningún panel para confirmarlo.

Impacto en el rendimiento

En la distribución tradicional de aplicaciones, la latencia suele manifestarse como un mayor tiempo de respuesta que hace que la aplicación parezca lenta. Los usuarios se quejan, el NPS baja, las tasas de conversión se resienten y comienzan las discusiones habituales sobre si el problema está en la red, la aplicación, la base de datos o «la nube». Este problema siempre ha sido real, pero también conocido, lo que significa que los equipos saben cómo abordarlo.

Con la IA, la latencia deja de percibirse como lentitud y empieza a parecer incompetencia. Los usuarios no interpretan una pausa prolongada como «un sistema distribuido haciendo cosas propias de los sistemas distribuidos». La perciben como vacilación, confusión o fallo y, una vez que se instala esa impresión, suele ser difícil cambiarla. Puede que la respuesta acabe llegando, pero para entonces ya partes con desventaja, porque el sistema ha transmitido incertidumbre en lugar de confianza.

El comportamiento basado en tokens agrava este problema de una forma a la que las aplicaciones tradicionales nunca tuvieron que enfrentarse. El prompt puede crecer con el tiempo porque todo el mundo sigue añadiendo contexto «por si acaso», y el tamaño de la respuesta puede dispararse porque los modelos hacen lo que suelen hacer y siguen hablando a menos que se les pongan límites. Incluso cuando la infraestructura funciona correctamente, la experiencia puede acabar pareciendo lenta porque ha aumentado la carga de trabajo, no porque el sistema haya empeorado.

Impacto en la disponibilidad

La latencia siempre ha sido un problema de fiabilidad disfrazado de problema de rendimiento. Cuando una dependencia se ralentiza, se agota el tiempo de espera. Cuando se agota el tiempo de espera, se producen reintentos. Cuando se producen reintentos, aumenta la carga. Cuando aumenta la carga, todo se ralentiza y se desencadena una cascada que se comporta como una interrupción del servicio, aunque técnicamente nada haya dejado de funcionar.

Los sistemas de IA son especialmente propensos a convertir la latencia en incidentes de disponibilidad porque tienen más componentes que una pila de aplicaciones convencional. Están el endpoint del modelo, la puerta de enlace, la capa de orquestación, los servicios de recuperación de información, los sistemas de ejecución de herramientas y, a menudo, la aplicación de políticas integrada en el flujo de la solicitud. Cuando uno de estos elementos empieza a responder con lentitud, la experiencia se deteriora de formas impredecibles y difíciles de diagnosticar.

Los flujos de trabajo con agentes añaden otro patrón de fallo que parece falta de fiabilidad, aunque en realidad se trate simplemente de un retraso. Los agentes suelen realizar varias acciones por cada interacción del usuario y tienden a ejecutarlas de forma secuencial, ya que cada paso depende del resultado del anterior. Esto significa que una llamada lenta a una herramienta no solo ralentiza el sistema, sino que bloquea su avance. Cuando se bloquean suficientes sesiones, se acumulan las colas, la concurrencia se desploma y el sistema empieza a mostrar síntomas que parecen propios de una interrupción del servicio, como tiempos de espera agotados, sesiones abandonadas y una oleada creciente de quejas de usuarios que parecen irracionales hasta que se examinan las trazas.

Impacto en la escalabilidad

La escalabilidad de los sistemas de IA suele malinterpretarse porque los equipos siguen pensando en términos de volumen de solicitudes, cuando la verdadera limitación suele ser el tiempo necesario para procesar cada solicitud. A medida que aumenta la latencia, cada sesión permanece abierta durante más tiempo, lo que mantiene ocupados los recursos informáticos y reduce el rendimiento efectivo.

La IA añade una variabilidad que acentúa mucho más este efecto. Algunas solicitudes se procesan rápidamente. Otras incluyen prompts enormes, procesos de recuperación intensivos, respuestas largas y múltiples llamadas a herramientas. Si diseñas pensando en los valores medios, los casos extremos te pasarán factura, y en los sistemas de IA estos casos no son un simple error de redondeo. La latencia en los casos extremos acaba definiendo la experiencia de usuario, porque los usuarios no recuerdan la mejor respuesta que hayas generado jamás.

La concurrencia también se comporta de forma diferente. Las cargas de trabajo de IA suelen ser interactivas y estar orientadas a sesiones, lo que significa que no se comportan como un tráfico de API sin estado perfectamente ordenado. El sistema debe conservar el contexto, gestionar las solicitudes de seguimiento y mantener la coherencia de la experiencia. Si aumenta la latencia, no solo se atienden menos solicitudes por segundo, sino también menos conversaciones por minuto, y esa distinción es importante cuando el valor del producto viene definido por su capacidad de respuesta.

Impacto en la eficiencia operativa

La latencia penaliza las operaciones de una forma tan predecible como exasperante. La primera reacción suele ser aumentar la capacidad, porque es la medida más rápida de aplicar y la más fácil de justificar. La segunda suele ser añadir una caché, porque parece una solución ingeniosa y puede ayudar. La tercera suele ser añadir reintentos, porque alguien quiere garantizar la fiabilidad, y así, sin apenas darse cuenta, se acaba construyendo un sistema que convierte la lentitud en un aumento de la carga.

Con el tiempo, la latencia da lugar a un modelo operativo en el que los equipos dedican más tiempo a mantener el sistema de entrega que a desarrollar funcionalidades. La IA agrava esta situación porque el rendimiento debe evaluarse de extremo a extremo y abarca distintos ámbitos. Al final, hay que resolver problemas que afectan a equipos, proveedores y servicios que nunca se diseñaron para depurarse como una única canalización coherente. Cada investigación se convierte en un mapa de dependencias e intervalos temporales, y la respuesta rara vez es sencilla.

Mejores prácticas para mitigar los problemas de latencia

La primera práctica, y la más importante, consiste en abordar la entrega de soluciones de IA como un proceso de entrega, no como un problema del modelo. Si solo optimizas la inferencia, estarás mejorando el motor mientras ignoras el tráfico, las carreteras y las intersecciones. Debes tener en cuenta todo el recorrido, desde la entrada del usuario hasta la respuesta final, incluidos los pasos que tienen lugar antes de invocar el modelo y los que se producen después.

El enrutamiento vuelve a ser una herramienta importante porque las cargas de trabajo de IA son sensibles a la distancia y a la longitud de las colas. La proximidad entre la inferencia y la recuperación de información es importante, al igual que elegir el conjunto de capacidad adecuado para cada tipo de solicitud. Un endpoint en buen estado no siempre es la mejor opción si está sobrecargado, se encuentra lejos o está vinculado a dependencias posteriores lentas. Cuando el sistema está sometido a una carga elevada, un enrutamiento inteligente puede marcar la diferencia entre una experiencia aceptable y un colapso a cámara lenta.

La asignación adaptativa de recursos también es imprescindible, porque la demanda de IA se produce en ráfagas y es impredecible, y no hay planificación de capacidad que permita eludir esa realidad. El sistema necesita mecanismos para controlar el consumo en situaciones de sobrecarga, como la regulación de solicitudes, la degradación gradual, las estrategias de selección de modelos y los límites a la cantidad de procesos de orquestación que puede desencadenar una sola interacción. No se trata únicamente de controles de costes, sino también de controles de estabilidad.

Conclusión

La latencia siempre ha sido un riesgo fundamental en la entrega de aplicaciones, y ADC06 la destacó con razón. La IA simplemente la hace más visible y perjudicial, porque los retrasos en una experiencia de IA se perciben como falta de fiabilidad, y la falta de fiabilidad frena la adopción más rápido que casi cualquier otro factor.

Si hoy está desarrollando aplicaciones con IA, gestionar la latencia es esencial para que el sistema transmita solvencia, se mantenga disponible en condiciones reales, pueda escalar sin que los costes se disparen y evite que sus equipos de operaciones vivan en un estado permanente de depuración forense. Las reglas de siempre siguen siendo válidas, pero las consecuencias son más graves, porque los usuarios interpretan el tiempo de respuesta de la IA como un indicador de si pueden confiar en que el sistema funcione.

Más información sobre los 10 principales retos de la entrega de aplicaciones a los que se enfrentan las organizaciones de todo el mundo.

Sobre el autor

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.

Más artículos de Lori Mac Vittie