Der ursprüngliche ADC10 konzentriert sich auf ein Problem, das jedes Betriebsteam kennt: Die ineffiziente Nutzung von Rechen-, Speicher- und Netzwerkressourcen treibt die Kosten in die Höhe und schränkt die Skalierbarkeit ein. Bei einer Überprovisionierung verschwenden Sie Geld. Bei einer Unterprovisionierung leidet die Leistung. Die Lösung besteht, wie beschrieben, in einer besseren Verteilung des Datenverkehrs, intelligenten Zustandsprüfungen und einer programmierbaren Steuerung, damit die Ressourcen im gesamten System effizient genutzt werden. Dies gilt nach wie vor.
Was sich durch KI ändert, ist, dass die Ressourcenauslastung nicht mehr vorhersehbar ist.
Herkömmliche Anwendungen verbrauchen Ressourcen auf relativ gleichmäßige Weise. Bei KI-Systemen ist das anders. Ihre Auslastung tritt in Spitzen auf, sie benötigen viel Rechenleistung und ihr Ressourcenbedarf variiert je nach Anfrage stark. Dadurch wird aus einem Problem der Kapazitätsplanung ein Problem der Ressourcenzuweisung in Echtzeit.
Folgen einer ineffizienten Ressourcennutzung
Auswirkungen auf die Leistung
In einem herkömmlichen System äußert sich eine ineffiziente Ressourcennutzung in einer ungleichmäßigen Lastverteilung. Einige Server sind nicht ausgelastet, während andere überlastet sind. Dies führt zu längeren Reaktionszeiten und ungenutzten Kapazitäten. KI bringt eine andere Art von Ungleichgewicht mit sich.
Inferenz-Workloads sind nicht einheitlich. Eine Anfrage kann trivial sein, während eine andere aufgrund der Prompt-Größe, der Kontextlänge oder der erforderlichen Denktiefe um Größenordnungen mehr Rechenleistung beansprucht. Selbst beim selben Modell kann die Leistung von einer Anfrage zur nächsten erheblich variieren.
Diese Schwankungen erschweren es erheblich, die Last vorherzusagen und effizient zu verteilen.
Wenn Anfragen weitergeleitet werden, ohne ihren Rechenaufwand zu berücksichtigen, entstehen Engpässe. GPUs oder Inferenzknoten sind unerwartet ausgelastet. Warteschlangen bilden sich. Die Latenz steigt sprunghaft an. Gleichzeitig bleiben andere Ressourcen unzureichend ausgelastet, weil sie für diese Arbeitslast nicht ausgewählt wurden.
Das bekannte Leistungsproblem bleibt also bestehen: eine ungleichmäßige Verteilung. Doch die Ursache ist eine andere. Es geht nicht mehr nur darum, wie viele Anfragen gesendet werden, sondern darum, wie rechenintensiv die Verarbeitung jeder einzelnen Anfrage ist.
Auswirkungen auf die Verfügbarkeit
Der ursprüngliche ADC10 bringt eine schlechte Ressourcenauslastung mit umfassenderen Bereitstellungsproblemen in Verbindung, darunter auch die Fähigkeit, Workloads effizient aufrechtzuerhalten. Bei KI kann sich eine ineffiziente Auslastung unmittelbar und unverhältnismäßig stark auf die Verfügbarkeit auswirken.
KI-Workloads sind durch knappe Ressourcen eingeschränkt, insbesondere durch spezialisierte Rechenressourcen wie GPUs. Sind diese Ressourcen erschöpft, nimmt die Systemleistung nicht allmählich ab. Das System gerät ins Stocken. Anfragen werden in die Warteschlange gestellt oder schlagen fehl. Zeitüberschreitungen treten häufiger auf.
Erschwerend kommt hinzu, dass die Verfügbarkeit nicht nur von der Kapazität, sondern auch von Zuweisungsentscheidungen abhängt.
Möglicherweise verfügt das System insgesamt über ausreichende Kapazitäten. Wenn diese jedoch nicht am richtigen Ort, zur richtigen Zeit oder für die richtige Art von Anfrage verfügbar sind, verhält sich das System so, als wären seine Ressourcen erschöpft. Ein Modellendpunkt kann zwar technisch online sein, aber keine zusätzlichen Aufgaben annehmen. In einer Region können ungenutzte Kapazitäten vorhanden sein, die aufgrund von Latenz- oder Compliance-Anforderungen nicht genutzt werden können. Ein kostengünstigeres Modell ist möglicherweise verfügbar, wird aber nicht ausgewählt, weil die Routing-Logik zu starr ist.
Dadurch entsteht ein Szenario mit fragmentierter Verfügbarkeit. Je nachdem, welcher Pfad durch das System genommen wird, ist es nur teilweise verfügbar.
Das ist ein schwierigeres Problem als die bloße Verfügbarkeit. Es erfordert die Fähigkeit, Workloads in Echtzeit intelligent zwischen Modellen, Regionen und Ebenen zu verlagern.
Auswirkungen auf die Skalierbarkeit
Eine ineffiziente Ressourcennutzung zwingt Unternehmen dazu, ihre Systeme vorzeitig horizontal zu skalieren und zusätzliche Infrastruktur bereitzustellen, um Arbeitslasten zu bewältigen, die sich effizienter hätten verarbeiten lassen. In der Vergangenheit führte dies zu einer Überdimensionierung, die insbesondere in Cloud-Umgebungen die Kosten in die Höhe treiben kann. KI beschleunigt diese Entwicklung erheblich.
Inferenz ist teuer. Der Speicherbedarf für Embeddings und Kontext wächst schnell. Datenpipelines werden umfangreicher. Wenn Ressourcen nicht effizient genutzt werden, besteht die Standardreaktion darin, zusätzliche Kapazitäten bereitzustellen. Das funktioniert – eine Zeit lang.
Doch das wird schnell untragbar – sowohl finanziell als auch betrieblich. Bei der Skalierung von KI-Systemen geht es nicht nur darum, weitere Server hinzuzufügen. Vielmehr gilt es, eine komplexe Mischung verschiedener Rechenressourcen zu verwalten, die jeweils unterschiedliche Leistungs- und Kostenmerkmale aufweisen.
Bei geringer Auslastung verstärkt die Skalierung die Ineffizienz, anstatt sie zu beheben.
Die Alternative besteht darin, intelligentere Entscheidungen darüber zu treffen, wie Ressourcen eingesetzt werden. Dazu gehört, das passende Modell für die jeweilige Aufgabe auszuwählen, den Zeitpunkt und die Art des Kontextabrufs zu optimieren und sicherzustellen, dass Arbeitslasten anhand von Echtzeitbedingungen statt nach statischen Regeln verteilt werden.
Mit anderen Worten: Skalierbarkeit hängt weniger davon ab, wie viel Infrastruktur Ihnen zur Verfügung steht, sondern vielmehr davon, wie intelligent Sie sie nutzen.
Auswirkungen auf die betriebliche Effizienz
Eine ineffiziente Ressourcennutzung hat schon immer die Betriebskosten und die Komplexität erhöht. Eine Überprovisionierung verschwendet Geld. Eine Unterprovisionierung führt zu Ressourcenkonflikten und erzwingt eine reaktive Skalierung. KI verschärft beide Seiten dieses Problems.
Da Workloads unvorhersehbar sind, gehen Teams häufig auf Nummer sicher. Um Leistungsprobleme zu vermeiden, stellen sie mehr Kapazität bereit, als sie voraussichtlich benötigen. Dadurch bleiben erhebliche Ressourcen ungenutzt, insbesondere bei schwankender Nachfrage.
Gleichzeitig kommt es weiterhin zu unerwarteten Lastspitzen. Ein sprunghafter Anstieg komplexer Inferenzanfragen kann die verfügbaren Ressourcen trotz dieser Überprovisionierung überlasten. Dadurch müssen sich Teams nun sowohl mit ungenutzten Kapazitäten als auch mit Leistungseinbußen auseinandersetzen.
Aus betrieblicher Sicht führt dies zu einem ständigen Balanceakt.
Teams verbringen Zeit damit, Schwellenwerte zu optimieren, Routing-Regeln anzupassen und herauszufinden, warum bestimmte Workloads unverhältnismäßig viele Ressourcen beanspruchen. Die Beobachtbarkeit wird wichtiger, aber auch schwieriger, da die Arbeitseinheiten nicht mehr einheitlich sind.
Effizienz hängt somit von Transparenz und Kontrolle ab. Fehlt beides, wird das Ressourcenmanagement reaktiv und kostspielig.
Best Practices zur Optimierung der Ressourcenauslastung
Programmierbare Infrastruktur und dynamische Zuweisung
Für herkömmliche Anwendungen sind programmierbare Infrastrukturen und eine dynamische Datenverkehrssteuerung entscheidende Lösungen. Indem Unternehmen den Datenverkehr anhand von Echtzeitmetriken weiterleiten, können sie die Last ausgleichen und die Auslastung im gesamten System verbessern. Dieser Ansatz gewinnt beim Einsatz von KI entscheidend an Bedeutung.
Beim statischen Lastausgleich wird davon ausgegangen, dass Anfragen in etwa gleich sind. KI setzt diese Annahme außer Kraft. Anhand von Anfragen lässt sich der Ressourcenverbrauch nicht mehr vorhersagen. Beim Routing müssen daher mehr Faktoren als nur die Anzahl der Verbindungen oder eine einfache algorithmische Verteilung berücksichtigt werden. Sie benötigen Informationen über die Kosten der Anfrage, die Modellleistung und den Systemzustand.
Programmierbarkeit ermöglicht es Ihnen, sich in Echtzeit an veränderte Bedingungen anzupassen. Anfragen können je nach Latenz, Kosten oder Verfügbarkeit an unterschiedliche Modelle weitergeleitet werden. Workloads lassen sich bei veränderten Bedingungen zwischen Regionen oder Clustern verschieben. Ressourcenintensive Vorgänge können gedrosselt oder aufgeschoben werden, wenn die Ressourcen knapp sind.
Dadurch wird die Ressourcenauslastung zu einem aktiven Regelkreis statt zu einem passiven Ergebnis.
Effizienz durch intelligentes Routing
Im Kern geht es bei ADC10 darum, Ressourcen effizient zu nutzen. KI erweitert die Bedeutung von „effizient“.
Es geht nicht mehr nur darum, den Datenverkehr gleichmäßig zu verteilen. Vielmehr muss die richtige Arbeitslast der passenden Ressource zugewiesen werden.
Das kann bedeuten, für einfachere Anfragen ein kleineres Modell zu verwenden, anstatt standardmäßig auf das leistungsstärkste zurückzugreifen. Es kann bedeuten, die Kontextgröße zu begrenzen, um die Rechenkosten zu senken. Es kann bedeuten, Ergebnisse zwischenzuspeichern oder wiederzuverwenden, anstatt sie erneut zu berechnen. Es kann bedeuten, zu erkennen, wann KI überhaupt nicht eingesetzt werden sollte.
All diese Entscheidungen gehen über den herkömmlichen Lastenausgleich hinaus. Sie erfordern ein Verständnis der Absicht, nicht nur des Datenverkehrs.
An diesem Punkt entwickelt sich die Anwendungsbereitstellung erneut weiter. Aus dem Routing wird eine Ressourcenorchestrierung. Das Ziel besteht nicht nur darin, Systeme auszulasten, sondern sicherzustellen, dass jede Recheneinheit effektiv genutzt wird.
Fazit
Bei ADC10 ging es schon immer darum, Verschwendung zu vermeiden und sicherzustellen, dass die Infrastruktur effizient genutzt wird, um Leistung, Verfügbarkeit und Skalierbarkeit zu gewährleisten.
Was KI mit sich bringt, ist Volatilität.
Der Ressourcenverbrauch ist nicht mehr vorhersehbar. Die Kosten der Workloads variieren stark. Spezialisierte Rechenressourcen bringen neue Einschränkungen mit sich. Und Ineffizienzen wirken sich schneller aus, da die Kosten pro Anfrage höher sind.
Die Reaktion folgt demselben Muster wie die ursprünglichen Empfehlungen, jedoch mit größerer Dringlichkeit.
Sie benötigen Transparenz darüber, wie Ressourcen genutzt werden. Sie benötigen Programmierbarkeit, um sich in Echtzeit anpassen zu können. Und Sie benötigen intelligentere Routing-Entscheidungen, die die tatsächlichen Kosten jeder Anfrage berücksichtigen – nicht nur deren Anzahl.
Denn in einem KI-gesteuerten System ist eine ineffiziente Ressourcennutzung nicht nur verschwenderisch.
Dies ist der schnellste Weg zu Leistungseinbußen, eingeschränkter Verfügbarkeit und ausufernden Kosten.
Erfahren Sie mehr über die 10 größten Herausforderungen bei der Anwendungsbereitstellung, mit denen Unternehmen weltweit konfrontiert sind.
Über den Autor
Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.
Weitere Blogbeiträge von Lori Mac VittieÄhnliche Blogbeiträge
Was sind die Top 10 der Anwendungsbereitstellung?
Mit der Top-10-Liste für die Anwendungsbereitstellung möchte F5 Unternehmen dabei unterstützen, Herausforderungen bei der Bereitstellung und Absicherung von Anwendungen, APIs und generativer KI zu bewältigen.
Top 10 der KI-App-Bereitstellung: Individuelle Anwendungsanforderungen
KI macht „maßgeschneidert“ vom Sonderfall zum Standard: Anfragen werden zu modularen Verarbeitungsketten (Modellauswahl, Informationsabruf, Richtlinien, Tools), sodass die Bereitstellung an jede einzelne Anfrage statt an die jeweilige Anwendung angepasst werden muss.
Top 10 der KI-App-Bereitstellung: Mangelnde Sicherheit und Einhaltung gesetzlicher Vorschriften
KI erweitert Compliance über die Absicherung von Zugriffspfaden und Datenspeichern hinaus auf die Steuerung des Laufzeitverhaltens – einschließlich Modellzugriff, Abrufkontext, Ausgaben und Agentenaktionen. Daher müssen Kontrollen näher an die Inferenz rücken.
KI-App-Bereitstellung – Top 10: Inkompatible Bereitstellungsrichtlinien
Nicht aufeinander abgestimmte Richtlinien werden zu Auslösern für KI-Ausfälle: Inkonsistente Failover-Mechanismen, Zeitüberschreitungen, Grenzwerte und Sicherheitskontrollen führen zu schleichenden Fehlern, unvollständigen Ergebnissen und je nach Endpunkt unterschiedlichen Resultaten.
Top 10 der KI-Anwendungsbereitstellung: Unzureichender Umgang mit Latenz
KI macht Latenz zu einem Vertrauensproblem und nicht nur zu einer Frage der Performance: Langsame Antworten eines „Assistenten“ wirken wie Zögern oder Versagen, und tokenreiche Prompts und Ausgaben erhöhen den Arbeitsaufwand selbst bei einwandfrei funktionierenden Systemen.
KI-App-Bereitstellung – Top 10: Nicht optimierte Datenverkehrssteuerung
KI stellt herkömmliche Annahmen zur Datenverkehrssteuerung infrage: Backends sind nicht austauschbar, die Kosten variieren und Agenten verzweigen sich unvorhersehbar – daher muss das Routing Modell, GPU-Zustand und Datenlokalität berücksichtigen.