RAG en la era de los LLM con ventanas de contexto de 10 millones de tokens

Hunter SmitGerente sénior de marketing de producto | F5

Meta presentó recientemente la familia Llama 4 de LLM —Scout, Maverick y una versión preliminar de Behemoth—, con una ventana de contexto de 10 millones de tokens en Scout. Poco después, en X, LinkedIn y otros foros, empezaron a cobrar fuerza los comentarios sobre la posible obsolescencia de la generación aumentada por recuperación (RAG), que apuntaban a que una ventana de contexto tan amplia podría hacer que la RAG dejara de ser útil. Sin embargo, creemos que la RAG seguirá siendo un patrón de diseño fundamental de la IA generativa, dados los matices de las ventanas de contexto, los datos corporativos en constante evolución, los almacenes de datos distribuidos, las cuestiones normativas, el rendimiento de los modelos y la relevancia de las aplicaciones de IA a escala empresarial.

RAG es una arquitectura fundamental para las empresas

A pesar de que Llama 4 ha logrado admitir ventanas de contexto de 10 millones de tokens, RAG sigue siendo un componente fundamental en las aplicaciones empresariales de IA. Las empresas suelen trabajar con conjuntos de datos dinámicos y en constante evolución, almacenados en sistemas distribuidos. RAG permite a los modelos recuperar e incorporar en tiempo real la información más actual y relevante de estos enormes repositorios de datos, lo que garantiza que los resultados de la IA sean precisos y pertinentes para el contexto específico de cada organización, equipo o usuario. La recuperación en tiempo real es esencial para las aplicaciones que requieren conocimientos actualizados, como la atención al cliente, el análisis de mercados y las bases de conocimiento.

Depender únicamente de ventanas de contexto amplias sin recuperación externa puede resultar ineficiente y suponer un riesgo para la seguridad. Cuando se introducen datos continuamente en un modelo, resulta más difícil controlar quién puede acceder a ellos, si se almacenan de forma segura y cómo podrían quedar expuestos involuntariamente a través de registros o de las respuestas del modelo. Las amenazas internas, los prompts maliciosos o las filtraciones accidentales se vuelven más probables a medida que aumenta el volumen de datos, y las organizaciones corren el riesgo de incumplir las normativas de privacidad o los requisitos de conformidad si los registros confidenciales se gestionan de forma inadecuada.

Al adoptar RAG, las empresas pueden recuperar únicamente los datos más pertinentes para cada consulta, cumpliendo así las restricciones normativas regionales y específicas del sector, que a menudo exigen una selección de datos estrechamente relacionados. Este enfoque reduce la superficie de ataque y garantiza la aplicación coherente de políticas como los controles de acceso basados en roles, el cifrado de los datos en tránsito y los mecanismos de auditoría detallados. Esta recuperación selectiva no solo reduce la carga computacional, sino que también refuerza la seguridad al limitar la exposición de los activos sensibles estrictamente a lo necesario en el momento de la inferencia.

Ventanas de contexto e implicaciones

En los LLM, la ventana de contexto indica el número máximo de tokens que el modelo puede procesar en una sola entrada. Ampliar esta ventana permite al modelo tener en cuenta más información simultáneamente, lo que da lugar a conversaciones más detalladas, análisis más exhaustivos y una mayor personalización. Como referencia, un texto sin formato compuesto por 100.000 tokens ocupa aproximadamente 325 KB; un contexto de 10 millones de tokens equivaldría a unos 32 MB de datos de texto. Esta capacidad permite a Llama 4 Scout procesar grandes cantidades de información en una sola consulta.

Aunque una ventana de contexto ampliada ofrece la ventaja de procesar más datos a la vez, también plantea retos relacionados con el rendimiento, la precisión y la eficiencia del modelo. Procesar millones de tokens exige una cantidad considerable de recursos computacionales, lo que aumenta la latencia y los costes operativos. A medida que crece la longitud del contexto, los modelos pueden tener dificultades para mantener la atención y la relevancia en toda la entrada, lo que podría afectar a la calidad de los resultados de la IA. Sobre este tema, Andriy Burkov, doctor y reconocido autor y experto en IA, escribió en X: «El contexto declarado de 10 millones es virtual porque ningún modelo se ha entrenado con instrucciones de más de 256.000 tokens. Esto significa que, si le envías más de 256.000 tokens, la mayoría de las veces obtendrás resultados de baja calidad».

Aunque las ventanas de contexto más amplias ofrecen nuevas oportunidades, es fundamental equilibrar el rendimiento y el uso de los recursos. El escenario óptimo consiste en proporcionar toda la información relevante, pero nada que no sea necesario. De hecho, algunos estudios parecen indicar que, al igual que ocurre con los seres humanos, proporcionar demasiada información a un LLM reduce su capacidad para identificar lo importante y centrarse en ello. Para quienes estén interesados, el libro blanco Lost in the Middle: Cómo utilizan los modelos de lenguaje los contextos largos, analiza este tema en profundidad.

Consideraciones de infraestructura para implementar modelos avanzados de IA

A muchas empresas les resulta abrumador conectar de forma segura cientos o miles de almacenes de datos ampliamente dispersos para RAG sin comprometer el rendimiento ni la seguridad de los datos en tránsito. El reto de consolidar ubicaciones de almacenamiento locales, híbridas y multicloud requiere una infraestructura de interconexión global de alto rendimiento, como la que proporciona F5 Distributed Cloud Services. Al garantizar que solo los endpoints de LLM autorizados puedan acceder a los datos mediante un WAF integrado y controles basados en políticas, las empresas reducen drásticamente los riesgos y la sobrecarga asociados a la gestión de múltiples gateways o VPN.

Al proporcionar un enfoque unificado para las redes y la seguridad, F5 Distributed Cloud Network Connect agiliza las implementaciones de RAG, lo que permite a las organizaciones conectar sin problemas fuentes de datos distribuidas para obtener resultados generados por LLM más precisos y oportunos. Además, con F5 AI Gateway, las organizaciones pueden protegerse frente a ataques de inyección de prompts que podrían vulnerar los límites de seguridad de los datos, garantizando así un enfoque de defensa en profundidad durante la inferencia.

El despliegue de modelos como Llama 4 Scout, con su amplia ventana de contexto, requiere una infraestructura sólida y eficiente. Los proxies de alto rendimiento capaces de gestionar un volumen considerable de datos son esenciales para mantener una baja latencia y garantizar un funcionamiento fluido. F5 BIG-IP Next for Kubernetes implementado en DPU NVIDIA BlueField-3 ofrece una solución convincente en este contexto, ya que proporciona gestión del tráfico y seguridad de alto rendimiento adaptadas a infraestructuras de IA a escala de nube y fábricas de IA.

Al descargar las tareas que requieren un uso intensivo de datos en las DPU, se liberan recursos de CPU para los procesos principales de las aplicaciones, lo que mejora la eficiencia general del sistema. Gracias a la compatibilidad con entornos multiinquilino, varias cargas de trabajo de IA pueden ejecutarse de forma segura y eficiente en la misma infraestructura, lo que responde perfectamente a las necesidades de las nubes de IA, los proveedores de servicios a hiperescala y otros proveedores de servicios. Estas capacidades son indispensables para las fábricas de IA que buscan aprovechar modelos con ventanas de contexto amplias y, al mismo tiempo, mantener un rendimiento y una seguridad óptimos.

Otra consideración importante es que las ventanas de contexto grandes y muy variables pueden provocar fluctuaciones significativas en el consumo de recursos. Esto hace aún más necesario equilibrar de forma inteligente las solicitudes entrantes para adaptarlas a la capacidad de computación disponible. Las soluciones avanzadas de equilibrio de carga adaptativo ayudan a distribuir estas consultas de gran tamaño entre varios clústeres o regiones, lo que reduce los cuellos de botella y mantiene el rendimiento general en implementaciones de IA complejas, aunque no reduzcan directamente los costes de computación.

RAG ha llegado para quedarse

RAG sigue siendo tan relevante hoy como siempre, por motivos que van más allá de la ampliación de las ventanas de contexto. Una ventaja clave es su capacidad para personalizar la recuperación de datos en función de los derechos de acceso del usuario. Otra es su capacidad para incorporar información actualizada sin necesidad de volver a entrenar ni ajustar el modelo. Esto cobra especial importancia si se tiene en cuenta el enorme volumen de datos corporativos, que a menudo alcanza varios terabytes o incluso petabytes y que las empresas pueden querer integrar con modelos de IA.

Las impresionantes innovaciones destinadas a aumentar el tamaño de la ventana de contexto, como la ventana de contexto de 10 millones de tokens de Llama 4 Scout, suponen un avance significativo para los LLM, pero el contexto debe seguir utilizándose de forma meditada. Las ventanas de contexto de gran tamaño aumentan los costes y la latencia e incluso pueden, en algunos casos, reducir la calidad de la respuesta final. Igual de importantes son una infraestructura sólida y los controles de seguridad necesarios para garantizar un alto rendimiento a medida que las organizaciones amplían sus aplicaciones de IA.

El compromiso de F5 con la IA no acaba aquí: descubre cómo F5 protege y distribuye aplicaciones de IA en cualquier entorno.

Sobre el autor

Hunter SmitGerente sénior de marketing de producto | F5

Hunter Smit es director sénior de marketing de producto para soluciones y estrategia en F5. Lidera el marketing de soluciones de toda la cartera de F5, incluidas la infraestructura de IA y la seguridad de aplicaciones, e impulsa la entrada de F5 en el mercado emergente de la entrega de datos para IA. Hunter es miembro del Consejo Asesor de la Escuela de Negocios de la Universidad Whitworth y ha ejercido como profesor adjunto de marketing de producto. Obtuvo un MBA y un grado en Administración y Dirección de Empresas, con especialización en gestión, por la Universidad Whitworth.

Más artículos de Hunter Smit