Calculadora de custo por token

Estime o custo para gerar um milhão de tokens com base na sua taxa de processamento, utilização, custo de GPU, consumo de energia e custos operacionais da plataforma.

O custo por token relaciona os gastos com infraestrutura à produção da IA. Insira suas estimativas de capacidade e custo para ver quanto custa cada token entregue e como esse custo varia conforme o nível de utilização.

01: Capacidade

02: Custos

Custo por 1M de tokens por utilização

A maior parte dos custos da fábrica de IA é fixa por hora. Uma utilização maior dilui o mesmo gasto em mais tokens entregues. A sua utilização atual está destacada na barra escura.

US$ 3,3
30% de util.
US$ 2,5
40% de util.
US$ 2,0
50% de util.
US$ 1,7
60% de util.
US$ 1,4
70% de util.
US$ 1,2
80% de util.
US$ 1,1
90% de util.

Mais informações

O custo por token conecta o gasto com infraestrutura à saída de IA. O custo por hora da GPU importa, mas a questão maior é quantos tokens úteis o seu ambiente consegue entregar a partir desse gasto. Maior throughput entregue e melhor utilização reduzem o custo por token sem necessariamente adicionar mais GPUs.

Perguntas frequentes

Aonde isso leva

Da matemática da fábrica de IA ao controle da fábrica de IA

Reduzir o custo por token não é apenas um problema de escolha de modelo. É um problema de controle de infraestrutura. A forma como o tráfego é roteado, enfileirado, armazenado em cache e distribuído pela capacidade de GPU determina quanto do seu gasto se converte em produção entregue.