Calculadora de cache semântico e orçamento de tokens

Dois controles na camada de gateway, com preços definidos: respostas fornecidas pelo cache em vez do modelo e orçamentos que impedem gastos descontrolados antes que aconteçam.

Um gateway de IA fica entre cada consumidor e cada modelo, o que o torna o único ponto capaz de reunir dois controles de custos: um cache semântico que responde a perguntas repetidas sem acionar uma GPU e orçamentos de tokens que limitam o consumo de cada equipe, tenant ou agente. Esta calculadora estima os custos de ambos.

01: O tráfego

02: O cache

O cache semântico corresponde significados, não cadeias exatas—«redefinir minha senha» e «como eu troco minha senha» podem compartilhar a mesma resposta.

Cem requisições no gateway

As requisições verdes são respondidas pelo cache semântico. As azuis seguem até um modelo.

  • Atendido pelo cache
  • Enviado a um modelo

Mais informações

O gateway é o único componente que vê cada requisição antes do modelo, e é isso que torna ambos os controles possíveis. O cache semântico compara o significado de uma requisição com respostas recentes e retorna uma correspondência sem gerar nada; os orçamentos de tokens medem o consumo por equipe, inquilino ou agente e aplicam o limite no caminho da requisição, e não na fatura do mês seguinte. Nenhum dos dois é possível depois do modelo, e nenhum é confiável quando implementado aplicação por aplicação.

Perguntas frequentes

Aonde isso leva

Da matemática da fábrica de IA ao controle da fábrica de IA

A mesma posição viabiliza o restante do padrão de gateway: roteamento entre modelos e provedores, failover quando um endpoint se degrada e uma única trilha de auditoria para cada consumidor—tudo isso antes do primeiro ciclo de GPU.