Mehr verkaufbare Tokens aus jeder GPU herausholen
Unternehmen mit KI-nativer Inferenz verdienen an Tokens pro GPU-Stunde, und das Routing der Anfragen bestimmt, wie viele Tokens jede GPU erzeugt
Ihre Marge entscheidet sich bei jeder Anfrage
Ein Inferenzanbieter kauft GPU-Kapazität zu festen Kosten ein und verkauft Tokens zu sinkenden Preisen. Die Differenz ist die Marge, und ein großer Teil davon entscheidet sich auf dem Weg der Anfrage: Welche GPU verarbeitet sie, ist deren Cache bereits gefüllt und muss sie in einer Warteschlange warten? Round-Robin behandelt alle Anfragen gleich. F5 leitet jede einzelne anhand von Echtzeitsignalen aus dem Inferenzbetrieb weiter – auf der F5 Application Delivery and Security Platform.
Mehr Tokens mit denselben GPUs
Bis zu 40 % höherer Token-Durchsatz im DPU-Modus, bestätigt durch Tests der Tolly Group.
Schnellere Ausgabe der ersten Tokens
Bis zu 61 % kürzere Zeit bis zum ersten Token, wie von The Tolly Group validierte Tests belegen.
Behalten Sie Ihren bisherigen Serving-Stack bei
Leitet Anfragen anhand von Signalen von NVIDIA Dynamo und NVIDIA NIM weiter; am bestehenden Stack wird nichts ersetzt.
Jeden Kunden verwalten und schützen
Überwachen und begrenzen Sie die Token-Nutzung pro Kunde und schützen Sie die APIs, über die Ihre Modelle bereitgestellt werden.
F5 hilft Inferenzanbietern, ihre Margen zu sichern
Inferenzbewusstes Routing
PRODUKT
BIG-IP Next for Kubernetes
Inferenzbasierte Steuerung des Datenverkehrs vor Modellserver-Pools auf Standard-Host-CPUs.
PRODUKT
BIG-IP Next for Kubernetes bereitgestellt auf NVIDIA BlueField DPUs
Dasselbe Routing mit auf die DPU ausgelagertem Datenpfad.
PRODUKT
NGINX Gateway Fabric
Gateway-API-Implementierung mit Unterstützung für die Inference Extension für clusterinternes Routing.
Zeit bis zum ersten Token
PRODUKT
BIG-IP Next for Kubernetes auf NVIDIA BlueField DPUs bereitgestellt
Die in Tests gemessene und von The Tolly Group validierte Konfiguration.
PRODUKT
BIG-IP Next for Kubernetes
Dieselbe Routing-Logik auf Standard-Host-CPUs; dimensionieren Sie auf Basis Ihrer eigenen Testergebnisse.
Token-Governance pro Kunde
PRODUKT
BIG-IP Next for Kubernetes
Kundenspezifische Token-Nachverfolgung, tokenbasierte Limits und Mandantenisolierung.
PRODUKT
BIG-IP Next for Kubernetes auf NVIDIA BlueField DPUs bereitgestellt
Durchsetzung der Mandantentrennung auf der DPU, unabhängig vom Host-Betriebssystem.
Modell-APIs und Agenten absichern
PRODUKT
F5 AI Red Team
Adversariale Tests von Modellen, Apps und Agenten vor und nach der Veröffentlichung.
Ressourcen
Berichte
Häufig gestellte Fragen
Inferenzbasiertes Routing leitet jede KI-Anfrage an den Modellserver weiter, der sie am besten verarbeiten kann. Dazu nutzt es Echtzeitsignale aus der Bereitstellungsschicht, etwa die Warteschlangenlänge, die Auslastung des KV-Caches und die GPU-Auslastung. Herkömmliche Lastverteilung verteilt Anfragen gleichmäßig. Da sich Inferenzanfragen jedoch stark in ihrem Rechenaufwand unterscheiden, führt eine gleichmäßige Verteilung zu einer ungleichmäßigen Auslastung. Die Kubernetes Gateway API Inference Extension standardisiert diesen Ansatz.
Um die Zeit bis zum ersten Token zu verkürzen, setzen Sie zunächst bei den Warteschlangen an. Denn wenn eine Anfrage auf einer ausgelasteten GPU hinter langwierigen Generierungen warten muss, wird ihr erstes Token unabhängig von der Modellgeschwindigkeit erst spät zurückgegeben. Leiten Sie Anfragen an Endpunkte mit kurzen Warteschlangen und bereits gefüllten Caches weiter, belassen Sie Prompt-Präfixe auf den Servern, auf denen sie bereits zwischengespeichert sind, und trennen Sie sehr lange Anfragen von kurzen interaktiven Anfragen. Modellseitige Maßnahmen wie Batching-Einstellungen und Quantisierung sorgen für weitere Verbesserungen.
Die Kosten pro Token entsprechen ungefähr den Kosten einer GPU-Stunde geteilt durch die Anzahl der in dieser Stunde erzeugten nutzbaren Tokens. Nach dem Kauf oder Leasing der Hardware sind die Kosten weitgehend fix. Der entscheidende Hebel ist daher der Durchsatz: die Auslastung, die Cache-Trefferquote, die Effizienz der Stapelverarbeitung und die gleichmäßige Verteilung der Anfragen auf die GPUs. Wenn die Token-Preise sinken, wirken sich bereits kleine Steigerungen der Token-Anzahl pro GPU-Stunde direkt auf die Marge aus.
Nein, inferenzbewusstes Routing ersetzt weder NVIDIA Dynamo noch vLLM. Serving-Frameworks bestimmen, wie ein Modell auf einer GPU ausgeführt wird: Batching, Caching und Scheduling. Inferenzbewusstes Routing bestimmt, welchen Server eine Anfrage erreicht und welche Richtlinien dabei gelten. BIG-IP Next for Kubernetes nutzt für das Routing Signale, die diese Systeme bereitstellen. Der bestehende Serving-Stack bleibt somit erhalten.
Die veröffentlichten Ergebnisse wurden auf NVIDIA BlueField-3 DPUs im DPU-Modus gemessen und lassen sich nicht automatisch auf Host-Bereitstellungen übertragen. BIG-IP Next for Kubernetes läuft mit derselben Routing-Logik auf Standard-Host-CPUs. Damit werden die meisten Unternehmen beginnen, die Inferenz auf gemieteten Rechenkapazitäten betreiben. Dimensionieren Sie eine Host-Bereitstellung anhand der dafür ermittelten Testergebnisse.