RAG na era dos LLMs com janelas de contexto de 10 milhões de tokens

Hunter SmitGerente Sênior de Marketing de Produto | F5

A Meta revelou recentemente a família Llama 4 de LLMs — Scout, Maverick e uma prévia do Behemoth —, com o Scout oferecendo uma janela de contexto de 10 milhões de tokens. Pouco depois, no X, LinkedIn e em outros fóruns, ganharam força os comentários sobre a possível obsolescência da geração aumentada por recuperação (RAG), sugerindo que uma janela de contexto tão ampla poderia tornar a RAG inútil. No entanto, acreditamos que a RAG continuará sendo um padrão de design fundamental para IA generativa, dadas as particularidades das janelas de contexto, os dados corporativos em constante mudança, os repositórios de dados distribuídos, as questões regulatórias, o desempenho dos modelos e a relevância das aplicações de IA em escala empresarial.

A RAG é uma arquitetura essencial para as empresas

Apesar do feito do Llama 4 de oferecer suporte a janelas de contexto de 10 milhões de tokens, a RAG continua sendo um componente essencial em aplicações corporativas de IA. As empresas geralmente trabalham com conjuntos de dados dinâmicos e em constante mudança, armazenados em sistemas distribuídos. A RAG permite que os modelos busquem e incorporem, em tempo real, as informações mais atuais e relevantes desses vastos repositórios de dados, garantindo que as respostas da IA sejam precisas e contextualmente relevantes — algo que varia significativamente conforme a organização, a equipe ou o usuário. A recuperação em tempo real é fundamental para aplicações que exigem conhecimento atualizado, como suporte ao cliente, análise de mercado e bases de conhecimento.

Depender exclusivamente de grandes janelas de contexto sem recuperação externa pode ser ineficiente e representar um risco à segurança. Quando os dados são fornecidos continuamente a um modelo, torna-se mais difícil controlar quem pode acessá-los, se estão armazenados com segurança e como podem ser expostos inadvertidamente por meio de logs ou das respostas do modelo. Ameaças internas, prompts maliciosos ou vazamentos acidentais tornam-se mais prováveis à medida que o volume de dados aumenta, e as organizações correm o risco de violar requisitos de privacidade ou conformidade caso registros confidenciais sejam tratados de forma inadequada.

Ao adotar a RAG, as empresas podem recuperar apenas os dados mais relevantes para cada consulta, em conformidade com restrições regulatórias regionais e específicas do setor, que muitas vezes exigem uma seleção de dados altamente correlacionados. Essa abordagem reduz a superfície de ataque e, ao mesmo tempo, garante a aplicação consistente de políticas como controles de acesso baseados em funções, criptografia em trânsito e mecanismos detalhados de auditoria. Essa recuperação seletiva não apenas reduz a sobrecarga computacional, como também reforça uma postura de segurança robusta ao limitar a exposição de ativos confidenciais estritamente ao que é necessário no momento da inferência.

Janelas de contexto e implicações

Nos LLMs, a janela de contexto indica o número máximo de tokens que o modelo consegue processar em uma única entrada. Ampliar essa janela permite que o modelo considere simultaneamente um volume maior de informações, resultando em conversas mais detalhadas, análises mais abrangentes e maior personalização. Para se ter uma ideia, um texto bruto composto por 100.000 tokens ocupa aproximadamente 325 KB; um contexto de 10 milhões de tokens equivaleria a cerca de 32 MB de dados de texto. Essa capacidade permite que o Llama 4 Scout processe grandes volumes de informações em uma única consulta.

Embora uma janela de contexto ampliada ofereça a vantagem de processar mais dados de uma só vez, ela traz desafios relacionados ao desempenho, à precisão e à eficiência do modelo. O processamento de milhões de tokens exige recursos computacionais consideráveis, o que aumenta a latência e os custos operacionais. À medida que o contexto se torna mais extenso, os modelos podem ter dificuldade para manter a atenção e a relevância em toda a entrada, o que pode afetar a qualidade dos resultados gerados pela IA. Sobre esse assunto, Andriy Burkov, Ph.D., autor e renomado especialista em IA, escreveu no X: “O contexto declarado de 10 milhões de tokens é virtual, pois nenhum modelo foi treinado com prompts de mais de 256 mil tokens. Isso significa que, se você enviar mais de 256 mil tokens ao modelo, na maioria das vezes obterá uma resposta de baixa qualidade.”

Embora janelas de contexto maiores ofereçam novas oportunidades, é fundamental equilibrar o desempenho e a utilização de recursos.​ O cenário ideal é apresentar todas as informações relevantes, mas nada que seja desnecessário. De fato, alguns estudos parecem indicar que, assim como ocorre com os seres humanos, fornecer informações em excesso a um LLM prejudica sua capacidade de identificar o que é relevante e manter o foco. Para quem tiver interesse, o white paper Lost in the Middle: Como os modelos de linguagem usam contextos longos, explora esse tema em profundidade.

Considerações de infraestrutura para a implantação de modelos avançados de IA

Muitas empresas consideram desafiador conectar com segurança centenas ou milhares de repositórios de dados amplamente distribuídos para RAG sem comprometer o desempenho ou a segurança dos dados em trânsito. O desafio de consolidar locais de armazenamento on-premises, híbridos e baseados em múltiplas nuvens exige uma malha de interconexão global de alto desempenho, como a fornecida pelo F5 Distributed Cloud Services. Ao garantir que somente endpoints de LLM autorizados possam acessar os dados usando um WAF integrado e controles baseados em políticas, as empresas reduzem drasticamente os riscos e a sobrecarga associados ao gerenciamento de vários gateways ou VPNs.

Ao fornecer uma abordagem unificada para redes e segurança, F5 Distributed Cloud Network Connect simplifica as implementações de RAG, permitindo que as organizações conectem perfeitamente fontes de dados distribuídas para gerar resultados orientados por LLM mais precisos e oportunos. Além disso, com o F5 AI Gateway, as organizações podem se proteger contra ataques de injeção de prompts que poderiam violar os limites de segurança dos dados, garantindo uma abordagem de defesa em profundidade durante a inferência.

A implantação de modelos como o Llama 4 Scout, com sua ampla janela de contexto, exige uma infraestrutura robusta e eficiente. Proxies de alto desempenho capazes de gerenciar um volume substancial de dados são essenciais para manter a baixa latência e garantir uma operação contínua. F5 BIG-IP Next for Kubernetes implantado em DPUs NVIDIA BlueField-3 oferece uma solução atraente nesse contexto, proporcionando gerenciamento de tráfego e segurança de alto desempenho, adaptados à infraestrutura de IA em escala de nuvem e às fábricas de IA.

Ao transferir tarefas com uso intensivo de dados para as DPUs, os recursos de CPU ficam livres para os principais processos das aplicações, aumentando a eficiência geral do sistema. Com suporte à multilocação, várias cargas de trabalho de IA podem operar de forma segura e eficiente na mesma infraestrutura, o que atende bem às necessidades de nuvens de IA, hiperescaladores e provedores de serviços. Esses recursos são indispensáveis para fábricas de IA que buscam aproveitar modelos com amplas janelas de contexto, mantendo desempenho e segurança ideais.

Outra consideração importante é que janelas de contexto grandes e altamente variáveis podem causar flutuações significativas no consumo de recursos. Isso torna ainda mais importante equilibrar de forma inteligente as solicitações recebidas de acordo com a capacidade computacional disponível. Soluções avançadas e adaptativas de balanceamento de carga ajudam a distribuir essas grandes consultas entre vários clusters ou regiões, reduzindo gargalos e mantendo o desempenho geral em implantações complexas de IA, mesmo que não reduzam diretamente os custos computacionais.

O RAG veio para ficar

O RAG continua tão relevante hoje quanto sempre foi, por motivos que vão além da ampliação das janelas de contexto. Um dos principais benefícios é a capacidade de personalizar a recuperação de dados com base nos direitos de acesso do usuário. Outro é a possibilidade de incorporar informações atualizadas sem exigir novo treinamento ou ajuste fino do modelo. Isso se torna especialmente importante quando se considera o enorme volume de dados corporativos, que muitas vezes chega a terabytes ou até petabytes e que as empresas podem querer integrar a modelos de IA.

As impressionantes inovações no aumento do tamanho da janela de contexto, como a janela de contexto de 10 milhões de tokens do Llama 4 Scout, representam um avanço significativo nos LLMs, mas o contexto ainda precisa ser usado de forma criteriosa. Janelas de contexto grandes aumentam o custo e a latência e podem até mesmo, em alguns casos, reduzir a qualidade da resposta final. Igualmente importantes são a infraestrutura robusta e os controles de segurança necessários para garantir um alto desempenho à medida que as organizações ampliam suas aplicações de IA.

O foco da F5 em IA não para por aqui — descubra como a F5 protege e disponibiliza aplicações de IA em qualquer lugar.

Sobre o autor

Hunter SmitGerente Sênior de Marketing de Produto | F5

Hunter Smit é gerente sênior de marketing de produtos para soluções e estratégia na F5. Ele lidera o marketing de soluções em todo o portfólio da F5, incluindo infraestrutura de IA e segurança de aplicações, e está conduzindo a entrada da F5 no mercado emergente de entrega de dados para IA. Hunter integra o Conselho Consultivo da Escola de Negócios da Whitworth University e atuou como professor adjunto de marketing de produtos. Ele possui MBA e bacharelado em Administração de Empresas com ênfase em gestão pela Whitworth University.

Mais publicações de Hunter Smit