Calculadora de caminho de dados RAG

A recuperação de dados fica entre cada prompt e a GPU. Calcule o custo de um acesso lento ao armazenamento de objetos em tempo ocioso do acelerador.

Cada solicitação com recuperação aumentada percorre um caminho de ida e volta por embeddings, um índice vetorial e armazenamento de objetos antes que a GPU possa começar a trabalhar. Esse caminho dos dados fica invisível na maioria dos painéis de IA — até você calcular o custo do tempo que o acelerador passa esperando por ele. Esta calculadora relaciona a latência e a taxa de transferência do armazenamento ao número que importa: segundos de GPU ociosa por dia.

01: A carga de trabalho de recuperação

02: Quanto custa a espera

A frota, menos a espera

Azul é geração. Âmbar é o equivalente em tempo de acelerador gasto parado atrás do caminho de recuperação.

  • Gerando
  • Parado na recuperação

Mais informações

O RAG transforma cada prompt em uma carga de trabalho de armazenamento: gerar o embedding da consulta, consultar o índice vetorial e então buscar os trechos vencedores em um armazenamento de objetos antes que um único token seja gerado. Armazenamentos de objetos foram feitos para durabilidade, não para fan-out em milissegundos—estabelecimento de conexão, handshakes TLS e buscas seriais acrescentam latência que recai diretamente no tempo até o primeiro token e, em stacks bloqueantes, em tempo de acelerador ocioso. Esse mesmo caminho determina a velocidade do streaming dos dados de treinamento e da restauração dos checkpoints.

Perguntas frequentes

Aonde isso leva

Da matemática da fábrica de IA ao controle da fábrica de IA

A correção clássica é uma camada de entrega na frente do armazenamento de objetos: pool e reutilização de conexões, retomada de TLS, otimização de TCP e política multi-inquilino—a mesma disciplina que os balanceadores de carga aplicam a backends web há vinte anos, agora voltada a armazenamento compatível com S3.