Calculadora de caminho de dados RAG
A recuperação de dados fica entre cada prompt e a GPU. Calcule o custo de um acesso lento ao armazenamento de objetos em tempo ocioso do acelerador.
Cada solicitação com recuperação aumentada percorre um caminho de ida e volta por embeddings, um índice vetorial e armazenamento de objetos antes que a GPU possa começar a trabalhar. Esse caminho dos dados fica invisível na maioria dos painéis de IA — até você calcular o custo do tempo que o acelerador passa esperando por ele. Esta calculadora relaciona a latência e a taxa de transferência do armazenamento ao número que importa: segundos de GPU ociosa por dia.
01: A carga de trabalho de recuperação
02: Quanto custa a espera
A frota, menos a espera
Azul é geração. Âmbar é o equivalente em tempo de acelerador gasto parado atrás do caminho de recuperação.
- Gerando
- Parado na recuperação
Mais informações
O RAG transforma cada prompt em uma carga de trabalho de armazenamento: gerar o embedding da consulta, consultar o índice vetorial e então buscar os trechos vencedores em um armazenamento de objetos antes que um único token seja gerado. Armazenamentos de objetos foram feitos para durabilidade, não para fan-out em milissegundos—estabelecimento de conexão, handshakes TLS e buscas seriais acrescentam latência que recai diretamente no tempo até o primeiro token e, em stacks bloqueantes, em tempo de acelerador ocioso. Esse mesmo caminho determina a velocidade do streaming dos dados de treinamento e da restauração dos checkpoints.
Perguntas frequentes
Da matemática da fábrica de IA ao controle da fábrica de IA
A correção clássica é uma camada de entrega na frente do armazenamento de objetos: pool e reutilização de conexões, retomada de TLS, otimização de TCP e política multi-inquilino—a mesma disciplina que os balanceadores de carga aplicam a backends web há vinte anos, agora voltada a armazenamento compatível com S3.