Kimi K3 könnte ein weiterer Sputnik-Moment für die KI sein. Die wichtigste Erkenntnis daraus ist nicht nur, dass Modelle mit offenen Gewichten an die Leistungsgrenze proprietärer Modelle heranreichen können. Die Entwicklung des Modells ist nur die halbe Miete; die andere Hälfte besteht darin, es effizient bereitzustellen. K3 verändert sowohl die Infrastruktur, die für die Bereitstellung hochmoderner KI erforderlich ist, als auch die wirtschaftlichen Rahmenbedingungen dafür, wer dies profitabel leisten kann.
Kimi K3 ist ein Mixture-of-Experts-Modell mit 2,8 Billionen Parametern. Für jedes Token werden nur 16 seiner 896 Experten aktiviert, doch die effiziente Verteilung dieser Experten wird in dieser Größenordnung zu einer zentralen systemtechnischen Herausforderung. Moonshot AI empfiehlt Supernode-Konfigurationen mit mindestens 64 Beschleunigern, die über eine Kommunikationsdomäne mit hoher Bandbreite miteinander verbunden sind.
Das Modell mag offen sein. Die eigentliche technische und wirtschaftliche Herausforderung beginnt jedoch damit, es zuverlässig, schnell und kosteneffizient bereitzustellen.
Für GPU-Anbieter entstehen in dieser Lücke zwischen Modellleistung und Servicebereitstellung sowohl Risiken als auch Chancen. Dieser Druck wird weiter zunehmen, wenn Nutzer, Unternehmen und autonome Agenten offene Modelle auf Frontier-Niveau einsetzen. Dieser Wandel verändert das Geschäftsmodell von GPU-Anbietern. Erfolg hängt nicht nur davon ab, Beschleuniger zu beschaffen, sondern sie zu Services zu bündeln, die vorhersehbare Latenzen bieten, Mandantengrenzen durchsetzen, Hostkapazitäten erhalten und aus jedem Rack mehr Kundennutzen generieren.
“Kimi K3 zeigt, dass die effiziente Generierung von Tokens nur ein Teil der Herausforderung ist. F5 BIG-IP Next for Kubernetes unterstützt Anbieter dabei, diese Tokens sicher, zuverlässig und profitabel bereitzustellen.”
Die kleinste Einheit wird größer
Ein Großteil des GPU-Cloud-Marktes basiert auf fragmentierten Kapazitäten: einzelnen GPUs und kleinen Kontingenten von einem, vier oder acht Beschleunigern. Diese Konfigurationen eignen sich weiterhin für kleinere Modelle, die Entwicklung, das Fine-Tuning und viele Workloads in Unternehmen. Sie reichen jedoch nicht aus, um K3 effizient als einheitlichen Endpunkt für Frontier-Modelle bereitzustellen.
Bei vier Bit pro Parameter benötigen allein die Gewichte rund 1,4 Terabyte Speicherplatz – noch ohne Berücksichtigung des Laufzeitspeichers, des KV-Caches und anderer mit der Bereitstellung verbundener Zusatzanforderungen. K3 zwingt Anbieter daher zu größeren garantierten GPU-Kontingenten, Scale-up-Domänen mit hoher Bandbreite, Rack-Systemen wie dem NVIDIA GB200 NVL72, topologiebewusster Platzierung, entkoppeltem Prefill und Decode sowie einer kontinuierlichen Verwaltung des KV-Caches.
Dadurch steigt die kleinste wirtschaftlich tragfähige Bereitstellungseinheit von einer einzelnen GPU auf einen eng koordinierten Supernode. Kapazitäten, die zuvor in kleinen Einheiten angemietet wurden, müssen möglicherweise in größeren, dedizierten Pools neu organisiert werden. Die Gewichte werden gemeinsam genutzt, doch die Infrastruktur wird stärker gebündelt und teurer.
Scale-up ist nur die Hälfte des Problems
NVIDIA hat für diese Art von Workload eine zunehmend ausgefeilte Architektur entwickelt. NVIDIA TensorRT-LLM Wide Expert Parallelism (Wide-EP) verteilt Experten auf zahlreiche GPUs, verbessert dadurch die Lastverteilung und stellt mehr GPU-Speicher für den KV-Cache zur Verfügung. Disaggregated Serving trennt Prefill und Decode, sodass jede Phase unabhängig skaliert werden kann, während das NVIDIA Dynamo Inference Framework das Request-Routing, die GPU-Zuweisung, die Platzierung des KV-Caches und die Hochgeschwindigkeitsübertragung des Caches koordiniert.
Diese Technologien optimieren die Modellausführung und die Ost-West-Kommunikation über die GPU-Scale-up-Infrastruktur hinweg. Dennoch muss jede Inferenzanfrage weiterhin in die Bereitstellungsumgebung gelangen und sie wieder verlassen. Sie muss von einem Benutzer oder Agenten entgegengenommen, authentifiziert, abgesichert, einem Mandanten zugewiesen, an einen verfügbaren Endpunkt weitergeleitet, überwacht und gemessen sowie gemäß einer Dienstgütevereinbarung verarbeitet werden.
Bei Implementierungen auf Rack-Ebene können NVIDIA® BlueField® DPUs eine dedizierte Infrastrukturdomäne für den Nord-Süd-Datenverkehr bereitstellen, einschließlich Benutzeranfragen, Token-Antworten, Telemetrie, Speicherzugriffen und der Kommunikation zwischen Clustern. Da Modelle wie Kimi K3 den Inferenzdurchsatz und den gesamten Dienstverkehr erhöhen, wird die DPU zu einem immer wichtigeren Kontrollpunkt für die skalierbare, sichere und Kubernetes-basierte Bereitstellung von KI-Diensten.
Die versteckte Belastung des Hosts
Host-Prozessoren übernehmen weiterhin Netzwerkfunktionen, Proxys, Sicherheitsaufgaben, Kubernetes-Dienste, die Verarbeitung von Anfragen, Telemetrie und weitere Funktionen rund um die GPU-Workload. Jeder von der Infrastruktur beanspruchte CPU-Kern steht nicht für Software zur Modellbereitstellung, die Orchestrierung oder Dienste zur Verfügung, die für eine produktive Auslastung kostspieliger GPUs sorgen.
F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField DPUs bereitgestellt begegnet dieser Herausforderung, indem die Verarbeitung des L4-L7-Datenverkehrs sowie Verschlüsselungs- und Sicherheitsfunktionen auf die DPU verlagert werden. Bei Tests durch Dritte beanspruchte eine herkömmliche HAProxy-Bereitstellung etwa 12 CPU-Kerne des Hosts, während BIG-IP Next for Kubernetes auf NVIDIA BlueField DPUs etwa zwei Kerne nutzte. Dadurch standen der KI-Bereitstellungsumgebung pro Server wieder rund 10 Kerne zur Verfügung.
BIG-IP Next for Kubernetes bietet außerdem beschleunigtes Traffic-Management, Segmentierung, Mandantenisolierung, Firewall-, DDoS-Schutz- und Richtliniendurchsetzungsfunktionen auf BlueField und reduziert so die Belastung der Host-CPUs durch Sicherheits- und Netzwerkaufgaben. Weitere F5-Dienste können diesen Schutz durch WAF, API-Sicherheit und KI-Sicherheit auf die gesamte End-to-End-Umgebung ausweiten.
Von der Kapazität zum Kundenservice
Wide Expert Parallelism und die Lastverteilung zwischen Experten verbessern die interne Effizienz der Modellbereitstellung. BIG-IP Next for Kubernetes bewältigt eine andere, aber ergänzende Herausforderung: diese Kapazität in eine zuverlässige Ausgabe für Kunden umzuwandeln.
In Tests von Drittanbietern erzielte BIG-IP Next for Kubernetes auf NVIDIA BlueField einen um bis zu 47 % höheren Durchsatz bei Ausgabe-Token, eine um 60 % kürzere Zeit bis zum ersten Token und um 40 % niedrigere Kosten pro Token. Diese Ergebnisse wurden mit bestimmten Modellen und Konfigurationen gemessen und sind nicht als Leistungsangaben für Kimi K3 zu verstehen. Die Ergebnisse bei Kunden variieren je nach Modell, Datenverkehrsprofil, Hardware und Bereitstellungsarchitektur.
Dennoch zeigen die Ergebnisse, dass eine North-South-Bereitstellungsarchitektur den Durchsatz bei der Ausgabe von Tokens, die Zeit bis zum ersten Token und die Kosten pro Token erheblich verbessern kann. So können Betreiber in derselben GPU-Umgebung zuverlässigere, umsatzgenerierende Inferenzen erzielen.
Diese Unterscheidung ist für Agenten besonders wichtig. Agentische Systeme erzeugen Ketten aus Modellaufrufen, Tool-Aufrufen und voneinander abhängigen Entscheidungen. Latenz zu Beginn eines Inferenzschritts verzögert jeden nachfolgenden Schritt. Eine Verzögerung von 20 Sekunden mag für einen Menschen frustrierend sein; bei Dutzenden aufeinanderfolgenden Agentenaufrufen kann sie dazu führen, dass der Dienst praktisch nicht mehr nutzbar ist.
Mandantenfähigkeit auf Frontier-Niveau
Die rasche Verbreitung von K3 verdeutlicht eine weitere Herausforderung: Die Leistungsfähigkeit von Modellen kann schneller wachsen als die Infrastruktur, die für ihre Bereitstellung zur Verfügung steht. Anbieter werden große Serving-Systeme von mehreren Kunden gemeinsam nutzen lassen müssen, um einen wirtschaftlich tragfähigen Betrieb zu ermöglichen. Doch für die gemeinsame Nutzung eines Supernodes im Frontier-Maßstab reicht es nicht aus, lediglich die GPU-Kapazität aufzuteilen.
Jeder Mandant muss isoliert werden. Der Datenverkehr muss authentifiziert und kontrolliert werden. Servicerichtlinien müssen konsequent durchgesetzt werden. Betreiber benötigen Einblick in die Ressourcennutzung und müssen erkennen können, ob eine Arbeitslast die Leistung einer anderen beeinträchtigt.
BIG-IP Next for Kubernetes integriert Kubernetes-natives Traffic-Management, Netzwerksegmentierung, Mandantenisolierung, Richtlinien und Observability in den beschleunigten Infrastrukturpfad. So lässt sich ein kostspieliges Rack von einem Pool unverwalteter Rechenressourcen in einen sicheren, differenzierten KI-Dienst verwandeln.
Eine Serviceebene für Inferenz
K3 zeigt, warum KI-Fabriken eine KI-Serviceebene benötigen. Die Scale-up-Fabric optimiert die GPU-Kommunikation. Die Software für die Modellbereitstellung führt Inferenzen aus. Scheduler verteilen Workloads und weisen GPUs zu. Die KI-Serviceebene steuert, wie Anwendungen, Agenten und Mandanten die Infrastruktur nutzen.
BIG-IP Next for Kubernetes dient als zentrale Engine für die Datenverkehrssteuerung dieser Serviceebene und ermöglicht sicheren Mandantenzugriff, die Verwaltung des Inferenzdatenverkehrs, Ausfallsicherheit von Endpunkten, die Durchsetzung von Service-Levels, Transparenz bei der Nutzung, Richtlinienkontrolle und eine zuverlässige Bereitstellung.
Kimi K3 beweist nicht, dass jede KI-Bereitstellung eine DPU erfordert. Es zeigt jedoch, dass Inferenz auf Spitzenniveau zunehmend zu einer Herausforderung für den gesamten Technologie-Stack wird und genau die Bedingungen schafft, unter denen sich eine dedizierte Infrastrukturverarbeitung wirtschaftlich lohnt.
Das NVIDIA GB200 NVL72-System ist für die effiziente Inferenz großer Mixture-of-Experts-Modelle ausgelegt. F5 BIG-IP Next for Kubernetes wird auf NVIDIA BlueField-DPUs bereitgestellt und unterstützt Anbieter dabei, diese Tokens sicher, zuverlässig und profitabel bereitzustellen.
Das Modell mag offen sein. Es bereitzustellen ist jedoch nicht billig.
Wer das Rack in Betrieb nimmt und seine Rohkapazität in einen zuverlässigen mandantenfähigen Dienst verwandelt, streicht die Marge ein.
Weitere Informationen finden Sie auf unseren Webseiten zu F5 BIG-IP Next for Kubernetes und unseren KI-Infrastrukturlösungen.
Über den Autor
Ähnliche Blogbeiträge
Vier Gründe, warum Sie den F5 Post-Mythos Security Summit nicht verpassen sollten
Holen Sie sich Expertenrat, um Ihre Apps, APIs und Modelle in der Post-Mythos-Welt zu schützen.
Von einer App zu einer Flotte von KI-Agenten: Ein 90-Tage-Framework für KI-Sicherheit
Vermeiden Sie den kostspieligen Ansatz „Erst bereitstellen, später absichern“ – mit einem umfassenden Framework zum Schutz von KI-Modellen, Anwendungen und autonomen Agenten.
Fünf Stufen antifragiler Cyberresilienz verwandeln Praxis in Ergebnisse
Erfahren Sie, wie fünf Stufen antifragiler Resilienz Störungen in adaptive Verhaltensweisen überführen, die Ausfälle begrenzen und hybride Multicloud-Architekturen stärken.
Warum Ihre KI-Richtlinien, Governance und Leitplanken nicht warten können
KI-Richtlinien und -Governance dürfen nicht länger als reine Formalitäten oder Zukunftsthemen betrachtet werden. Sie müssen durch praktische, durchsetzbare Leitplanken ergänzt werden.
Wenn „privat“ nicht privat ist: Wie ChatGPT-Unterhaltungen öffentlich wurden
KI verändert die Arbeitsabläufe in Unternehmen, doch eine übersehene Einstellung hat bereits Tausende vertraulicher Unterhaltungen öffentlich zugänglich gemacht
KI-Nutzung verstehen: Warum Unternehmen Transparenz brauchen
Anstatt einen zu laxen oder zu strengen Ansatz zu verfolgen, können Unternehmen durch mehr Transparenz bei der KI-Nutzung fundierte und durchsetzbare Entscheidungen treffen.