Obtén más tokens comercializables de cada GPU

El enrutamiento basado en la inferencia envía cada solicitud de IA al servidor de modelos más adecuado para atenderla, utilizando señales en tiempo real de la capa de servicio, como la longitud de la cola, el uso de la caché KV y la carga de la GPU. El equilibrio de carga genérico distribuye las solicitudes de manera uniforme, pero las solicitudes de inferencia varían mucho en cuanto a coste computacional, por lo que un reparto uniforme genera una carga de trabajo desigual. La extensión de inferencia de la API Gateway de Kubernetes estandariza este patrón.

Para reducir el tiempo hasta el primer token, empieza por gestionar las colas, ya que una solicitud que espera detrás de generaciones largas en una GPU saturada recibirá su primer token con retraso, independientemente de la velocidad del modelo. Dirige las solicitudes a endpoints con colas cortas y cachés precargadas, mantén los prefijos de los prompts en los servidores que ya los tienen almacenados y separa las solicitudes muy largas de las solicitudes interactivas cortas. Las técnicas aplicadas al modelo, como los ajustes del procesamiento por lotes y la cuantización, ayudan a reducir aún más este tiempo.

El coste por token equivale, aproximadamente, al coste de una hora de GPU dividido entre los tokens útiles generados durante esa hora. Una vez comprado o alquilado el hardware, los costes son en gran medida fijos, por lo que la clave está en la producción: el grado de utilización, la tasa de aciertos de caché, la eficiencia del procesamiento por lotes y el reparto equilibrado de las solicitudes entre las GPU. Cuando los precios por token bajan, las pequeñas mejoras en la cantidad de tokens generados por hora de GPU repercuten directamente en el margen.

No, el enrutamiento basado en inferencia no sustituye a NVIDIA Dynamo ni a vLLM. Los frameworks de servicio de modelos determinan cómo se ejecuta un modelo en una GPU: procesamiento por lotes, almacenamiento en caché y planificación. El enrutamiento basado en inferencia determina a qué servidor llega una solicitud y qué política se aplica. BIG-IP Next for Kubernetes enruta el tráfico en función de las señales que exponen esos sistemas, por lo que la pila de servicio de modelos se mantiene.

Los resultados publicados se obtuvieron con DPU NVIDIA BlueField-3 en modo DPU y no son directamente extrapolables a los despliegues en hosts. BIG-IP Next for Kubernetes se ejecuta en CPU de host estándar con la misma lógica de enrutamiento; este será el punto de partida para la mayoría de las empresas de inferencia que utilicen capacidad alquilada. Dimensione cada despliegue en hosts en función de los resultados de sus propias pruebas.