Las sesiones son persistentes, el contexto se aferra: cómo la inferencia hace trampas para mantener conversaciones

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Durante décadas, los sistemas distribuidos se han apoyado en la elegancia de la ausencia de estado, tanto como principio de diseño como estrategia de escalado: una abstracción limpia en la que cada solicitud llega con independencia de la anterior, se procesa de forma aislada y no deja rastro alguno. Los sistemas sin estado olvidan y, al hacerlo, ganan libertad: libertad para escalar horizontalmente sin coordinación, libertad para fallar sin consecuencias y libertad frente a la carga operativa que supone la memoria. Era un buen modelo y, para algunas aplicaciones, nos funcionó bien.

Sin embargo, los sistemas de IA ponen al descubierto esa ficción.

Lo que hoy llamamos «inferencia sin estado» solo carece de estado en su implementación, no en su funcionamiento, porque el estado no ha desaparecido, sino que simplemente se ha trasladado. La conversación, el razonamiento y el significado dependen del contexto previo, por lo que dicho contexto debe conservarse en algún lugar. Hoy lo incluimos en cada solicitud, codificado en tokens, reproducido una y otra vez y reconstruido turno tras turno, como si el sistema leyera toda la conversación desde el principio cada vez que interviene. La arquitectura afirma carecer de estado, pero, en la práctica, se comporta como si el estado existiera en todas partes, porque así es.

El contexto, despojado de su denominación más amable, no es más que estado en movimiento.

Cada solicitud arrastra consigo el historial y, a medida que las conversaciones se alargan, ese historial se vuelve más pesado. El tamaño de las cargas útiles aumenta, se incrementa la transferencia de datos por la red, crece la latencia de inferencia y se emplean recursos computacionales una y otra vez para procesar información que el modelo ya ha visto. Las ventanas de contexto más amplias y el hardware más rápido posponen las consecuencias, y algunos ingeniosos recursos técnicos, como el almacenamiento en caché de claves y valores (KV) y la compresión de prompts, amortiguan el impacto; sin embargo, ninguno de ellos elimina la ineficiencia fundamental que supone reproducir la memoria en lugar de mantenerla. El sistema recuerda mediante la repetición, no por diseño, y la repetición siempre tiene un coste.

El coste de una conversación coherente

Este coste se manifiesta primero en el ancho de banda, después en la capacidad de cómputo y, por último, en la latencia, lo que genera una presión de escalado discreta pero persistente. La ausencia de estado simplificaba antes el escalado porque no era necesario conservar nada entre llamadas, pero las cargas de trabajo de IA invierten esta ventaja, ya que preservar la continuidad es precisamente lo que las hace útiles. Un sistema que olvida el pasado no puede mantener el razonamiento ni la coherencia de la conversación, ni tampoco aprovechar los conocimientos previos dentro de una sesión. En la práctica, hemos creado un comportamiento con estado sobre una infraestructura sin estado, y la tensión empieza a hacerse evidente.

La respuesta previsible es la afinidad de sesión.

Si el contexto debe persistir, resulta más eficiente mantenerlo cerca de donde se utilizó por última vez, lo que permite reutilizar las representaciones almacenadas en caché y evita tener que transferir y reconstruir repetidamente el historial de la conversación. Las sesiones se vuelven «persistentes», no por una elección filosófica, sino por una necesidad operativa, ya que trasladar el estado resulta costoso. La latencia mejora, el desperdicio de recursos de computación disminuye y la ilusión de la ausencia de estado se debilita aún más a medida que la memoria se convierte en una dependencia explícita del rendimiento.

Sin embargo, las sesiones persistentes introducen sus propias dificultades. El equilibrio de carga pierde flexibilidad, la conmutación por error se vuelve más compleja y la movilidad distribuida queda limitada por la ubicación de la memoria. Los sistemas diseñados para funcionar sin estado se ven obligados a lidiar con la gravedad que impone el estado. La solución natural consiste en externalizarlo, trasladando la memoria de sesión a almacenes compartidos, sistemas de recuperación o bases de datos de contexto que permitan a cualquier nodo de inferencia reanudar la conversación sin tener que reproducir todo su historial. Esto restablece la flexibilidad del enrutamiento y la escalabilidad horizontal, pero convierte la memoria en un componente arquitectónico que debe gestionarse con el mismo rigor que los datos: la coherencia, el orden, la integridad y la seguridad adquieren ahora una importancia que no tenían cuando el contexto simplemente se incluía en un prompt.

Llegados a este punto, surge una cuestión más profunda, que trasciende la optimización y se adentra en la filosofía del diseño: ¿deberíamos seguir manteniendo toda la conversación?

Estamos evolucionando hacia un estado selectivo

El enfoque actual trata el contexto como una transcripción en constante crecimiento, un flujo continuo de tokens que se reproduce íntegramente; sin embargo, las máquinas no están sujetas a las limitaciones de la conversación humana. Ya observamos los primeros avances hacia una memoria selectiva, en la que los resúmenes sustituyen al historial en bruto, la recuperación de información reemplaza la repetición y la memoria estructurada distingue el conocimiento duradero del diálogo transitorio. En lugar de arrastrar consigo todo el pasado, los sistemas empiezan a conservar únicamente aquello que sigue siendo relevante, creando una memoria por capas en la que el contexto inmediato, los resúmenes depurados y el conocimiento persistente desempeñan funciones diferenciadas. La arquitectura pasa de recordarlo todo a recordar de forma inteligente.

Esta es la verdadera transición que está teniendo lugar.

El sector comenzó con la computación sin estado porque la capacidad de cómputo era escasa y descartar la memoria resultaba barato. La IA invierte esta relación y convierte el contexto y la continuidad en aspectos arquitectónicos de primer orden. El estado nunca ha desaparecido realmente; simplemente se ha transportado, reproducido y ocultado dentro de diseños sin estado. A medida que maduren los sistemas de IA, ese disfraz se desvanecerá y las arquitecturas evolucionarán hacia una gestión deliberada de la memoria, en lugar de transportar el contexto de forma perpetua.

Las sesiones seguirán siendo persistentes porque la continuidad tiene valor. El contexto seguirá aferrándose porque el significado depende de la memoria. La ficción de la ausencia de estado continuará desmoronándose y será sustituida por sistemas que comprendan explícitamente qué recordar, dónde conservarlo y cuándo liberarlo, porque el futuro de la IA escalable no pertenecerá a los sistemas que lleven el estado a todas partes, sino a aquellos que lo gestionen con criterio.

Sobre el autor

Lori Mac VittieIngeniero distinguido y evangelista jefe | F5

Lori MacVittie es ingeniera distinguida y evangelista jefe en la Oficina del CTO de F5, y cuenta con una amplia experiencia en entrega de aplicaciones, estrategia de automatización e infraestructura. Es conocida por convertir la complejidad en claridad, ya sea definiendo mecanismos de protección para agentes de IA, analizando arquitecturas multinube frágiles o explorando los límites de los sistemas escalables. Aporta más de treinta años de experiencia en el sector en desarrollo de aplicaciones, arquitectura de TI y operaciones de redes y sistemas. Antes de incorporarse a F5, fue una galardonada editora de tecnología. MacVittie posee un máster en Informática y es una autora prolífica cuyas publicaciones abarcan la seguridad, la nube y la arquitectura empresarial. También es una apasionada de los juegos de mesa y los videojuegos, y expresa sin complejos sus firmes opiniones sobre el queso.

Más artículos de Lori Mac Vittie