Spielen wir ein kurzes Spiel. Sie betreiben eine globale KI-Infrastruktur. Ein Nutzer in Deutschland stellt Ihrem Chatbot eine einfache Frage. Wohin sollte diese Anfrage geleitet werden?
- An die nächstgelegene verfügbare GPU, egal wo sie sich befindet?
- An das enorm leistungsstarke, unglaublich teure neue Modell, das Sie gerade in einem US-Rechenzentrum bereitgestellt haben?
- An ein kleineres, günstigeres, CPU-basiertes Modell, das in Frankfurt gehostet wird und die Frage problemlos beantworten kann, während es die gesetzlichen Vorgaben zur Datenresidenz einhält?
Wenn Sie darauf nicht sofort eine sichere Antwort haben, sind Sie nicht allein. Wahrscheinlich verlieren Sie aber auch unnötig Geld und setzen sich Risiken aus. Der einfache, oft übersehene Mechanismus des Modell-Routings wird zunehmend zum entscheidenden Unterschied zwischen einer erfolgreichen KI-Strategie und einem teuren, unsicheren Forschungsprojekt.
Und unsere neuesten Umfragedaten zeigen, dass die meisten Unternehmen auf der falschen Seite dieser Trennlinie stehen.
Der unterschätzte Held des KI-Stacks
Wenn wir fragen, was die größten Herausforderungen beim Bereitstellen von KI-Modellen sind, stehen die üblichen Verdächtigen ganz oben auf der Liste: Sicherheit und Schutzmechanismen (48 %), GPU-Kosten (43 %) und Datenresidenz (23 %). Fragen wir jedoch nach der Herausforderung, „Datenverkehr zwischen mehreren Modellen oder Versionen zu verteilen“, findet das Thema kaum Beachtung: Nur 13 % nennen es als wesentliches Problem.
Das ist ein klassischer Fall davon, den Wald vor lauter Bäumen nicht zu sehen.
Unternehmen glauben nicht, dass sie ein „Routing“-Problem haben; sie glauben, sie hätten ein „Kosten“- oder ein „Sicherheitsproblem“. Tatsächlich haben sie ein Routing-Problem, das ihre Kosten- und Sicherheitsprobleme verursacht . Sie haben die Werkzeuge (API-Gateways, Ingress-Controller, Service Mesh), nutzen sie aber lediglich als Verkehrspolizisten und nicht als strategische, kontextbewusste Steuerzentrale ihres KI-Betriebs.
Wie strategisches Routing Ihre größten KI-Probleme löst
Bringen wir es auf den Punkt. Bei intelligentem, kontextbezogenem Modell-Routing geht es nicht nur darum, eine Anfrage von Punkt A zu Punkt B zu leiten. Es geht darum, sie zum richtigen Punkt B zu leiten – unter Berücksichtigung von Kosten, Sicherheit, Leistung und Compliance.
Den GPU-Kostendrachen bezwingen
GPU-Kosten und -Auslastung sind nicht ohne Grund die zweitgrößte Herausforderung: Diese Dinger sind horrend teuer. Einfache Anfragen von einer High-End-GPU bearbeiten zu lassen, ist, als würde man mit Kanonen auf Spatzen schießen. Strategisches Routing bietet eine direkte Lösung:
- Kostenbasiertes Routing: Leiten Sie Anfragen an die kosteneffizienteste Rechenressource weiter. Eine einfache Anfrage kann an ein CPU-basiertes Modell gehen, sodass die teuren GPUs für komplexe Aufgaben mit hohem Mehrwert frei bleiben.
- Auslastungsbasiertes Routing: Verteilen Sie die Last auf alle verfügbaren Ressourcen, um die Auslastung zu maximieren und ungenutzte Hardware zu vermeiden, die nur Kosten verursacht.
Ohne diese Intelligenz verteilen Sie Anfragen einfach wahllos auf Ihre teuersten Ressourcen.
Eine echte Sicherheitsperimeter aufbauen
Sicherheit ist die größte Herausforderung – und das aus gutem Grund. Wie setzt man Schutzmechanismen durch? Wie prüft man Prompts auf schädliche Eingaben? Eine Richtlinie entsteht nicht einfach durch Wunschdenken. Man muss den Datenverkehr physisch (na ja, digital) durch eine Kontrollinstanz leiten, die sie durchsetzt.
- Richtliniendurchsetzung: Möchten Sie einen Prompt durch einen Schutzmechanismus prüfen lassen? Dafür müssen Sie die Anfrage zunächst an den entsprechenden Dienst weiterleiten. Dies ist eine grundlegende Voraussetzung für die Implementierung der „Prüfung von Prompts und Antworten“, die 53 % der Unternehmen einzuführen versuchen.
- Kontrolle des ausgehenden Datenverkehrs: Die einzige Möglichkeit, „Kontrollen für ausgehende Aufrufe an externe Modellanbieter“ durchzusetzen (eine Maßnahme, die 62 % der Befragten nutzen), ist eine Routing-Schicht, die diesen Datenverkehr verwaltet und überprüft, bevor er Ihr Netzwerk verlässt.
Strategisches Routing macht den Unterschied zwischen dem bloßen Besitz von Sicherheitstools und deren effektivem Einsatz.
Die Lebensader der Datenresidenz
Für die 23 % der Unternehmen, die mit Datenresidenz und Datensouveränität zu kämpfen haben, ist Modell-Routing nicht nur ein nettes Extra, sondern eine Notwendigkeit zur Einhaltung gesetzlicher Vorschriften. Standortbasiertes Routing stellt sicher, dass die Anfrage eines Nutzers in der EU von einem Modell verarbeitet wird, das in einem EU-Rechenzentrum läuft. So verbleiben die Daten des Nutzers im Geltungsbereich der DSGVO.
Der wahre Übeltäter: Fragmentierte Richtlinien verhindern intelligentes Routing
Wenn Routing also diese Wunderlösung ist, warum funktioniert es dann nicht? Weil sich eine globale Strategie nicht mit einer lokalen Denkweise umsetzen lässt.
Unsere Daten zeigten einen alarmierenden (aber wenig überraschenden) Zusammenhang. Die Unternehmen, die am stärksten mit diesen zentralen KI-Herausforderungen zu kämpfen hatten, waren diejenigen mit einer fragmentierten Richtlinienverwaltung, bei der jedes Team seine eigenen Regeln aufstellt oder zentrale Vorgaben auf seine eigene Weise „interpretiert“.
[Kleiner Exkurs: Lies diese Abhandlung über Conways Gesetz und seinen Zusammenhang mit der Skalierung von KI und frag dich dann, warum uneinheitliche Richtlinien für jedes Team Teil des Problems sind. Nur zu. Ich warte.]
Ja, eine einheitliche, kostensparende und sichere Strategie für das Modell-Routing ist nicht möglich, wenn euer Team an der Ostküste den Datenverkehr anders weiterleitet als euer Team an der Westküste. Das bringt das gesamte Konzept ins Wanken. Um das Potenzial von Routing wirklich auszuschöpfen, braucht ihr eine zentrale Steuerungsinstanz, die einen konsistenten, globalen Überblick über den gesamten Datenverkehr und alle Richtlinien bietet.
Die technischen Voraussetzungen sind in den meisten Unternehmen bereits vorhanden; mehr als die Hälfte setzt API-Gateways und Ingress-Controller ein. Was fehlt, ist die Strategie.
Es ist (längst überfällig) an der Zeit, Routing nicht länger als banales Betriebsdetail zu betrachten, sondern als den strategischen Hebel, der über Erfolg oder Misserfolg Ihrer gesamten KI-Investition entscheidet.
Über den Autor
Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.
Weitere Blogbeiträge von Lori Mac VittieÄhnliche Blogbeiträge
Das Geheimnis der Skalierung von KI liegt darin, Conways Gesetz zu überwinden
KI skaliert nicht von allein. Ohne eine einheitliche Steuerungsebene, die Grenzen zwischen Tools und Zuständigkeiten überwindet, wird die Inferenz zur fragilsten und koordinationsintensivsten Ebene.
Warum Modell-Routing zur Sicherheitsinfrastruktur werden könnte
Agentische KI legt die Grenzen herkömmlicher Identitätskonzepte offen. Spezialisierte Modelle und richtlinienbasiertes Routing knüpfen Berechtigungen an die Modellauswahl und reduzieren so den potenziellen Schadensumfang sowie die Komplexität der Governance.
Ihr nächster SRE könnte eine Maschine sein
Die Kontrolle konzentriert sich auf den Punkt, an dem die Absicht formuliert wird: Prompts, Tokens und Routing. Die architektonische Herausforderung besteht darin, festzulegen, wo KI handeln darf, wann sie Entscheidungen abgeben muss und wie sich ihre Aktionen rückgängig machen lassen.
KI-App-Bereitstellung – Top 10: Unzureichende Datenverkehrskontrollen
Herkömmliche Ratenbegrenzungen und Drosselungsmechanismen erfassen das tatsächliche Schadensausmaß nicht. KI-Workloads verteilen sich auf Modelle, Vektordatenbanken und Dienste und führen so zu Latenzspitzen, kaskadierenden Ausfällen und wiederholten Anfragen.
Inferenz ist jetzt das operative Gravitationszentrum
Der Betrieb mehrerer Modelle und API-gesteuerte Automatisierung verlagern die Kontrolle auf die Inferenzebene – auf Prompts, Token- und Steuerungsmechanismen, Routing und Moderation –, wo Kosten, Risiken und Leistung gesteuert werden müssen.
Von Paketen zu Prompts: Inferenz erweitert den Stack um eine neue Ebene
Inferenz ist kein Training. Sie ist kein Experimentieren. Sie ist keine Data-Science-Übung. Inferenz ist Laufzeitverhalten in der Produktion und verhält sich wie eine Anwendungsschicht.