Gere mais tokens comercializáveis com cada GPU

O roteamento orientado à inferência encaminha cada solicitação de IA ao servidor de modelos mais adequado para atendê-la, usando sinais em tempo real da camada de serviço, como o tamanho da fila, a utilização do cache KV e a carga da GPU. O balanceamento de carga genérico distribui as solicitações uniformemente, mas as solicitações de inferência variam muito em custo computacional, de modo que uma distribuição uniforme gera uma carga de trabalho desigual. A extensão de inferência da Gateway API do Kubernetes padroniza esse padrão de roteamento.

Para reduzir o tempo até o primeiro token, comece pelo gerenciamento das filas, pois uma solicitação que fica aguardando atrás de gerações longas em uma GPU sobrecarregada recebe seu primeiro token com atraso, independentemente da velocidade do modelo. Direcione as solicitações para endpoints com filas curtas e caches já carregados, mantenha os prefixos dos prompts nos servidores que já os armazenam e separe as solicitações muito longas das interativas curtas. Técnicas aplicadas ao modelo, como ajustes nas configurações de processamento em lote e quantização, ajudam a reduzir ainda mais esse tempo.

O custo por token é aproximadamente o custo de uma hora de GPU dividido pelo número de tokens úteis produzidos nessa hora. O custo é praticamente fixo após a compra ou locação do hardware, então a principal alavanca é a produção: utilização, taxas de acerto do cache, eficiência do processamento em lotes e distribuição uniforme das solicitações entre as GPUs. Pequenos ganhos no número de tokens por hora de GPU impactam diretamente a margem quando os preços dos tokens estão caindo.

Não, o roteamento orientado à inferência não substitui o NVIDIA Dynamo nem o vLLM. Os frameworks de disponibilização de modelos decidem como um modelo é executado em uma GPU: processamento em lotes, armazenamento em cache e agendamento. O roteamento orientado à inferência decide a qual servidor uma solicitação é encaminhada e sob qual política. O BIG-IP Next for Kubernetes faz o roteamento com base nos sinais que esses sistemas disponibilizam, de modo que a pilha de disponibilização de modelos permanece em uso.

Os resultados publicados foram medidos em DPUs NVIDIA BlueField-3 no modo DPU e não se aplicam automaticamente a implantações em hosts. O BIG-IP Next for Kubernetes é executado em CPUs de host padrão com a mesma lógica de roteamento, que é o ponto de partida para a maioria das empresas de inferência que utilizam capacidade alugada. Dimensione uma implantação em host com base nos resultados dos próprios testes.