In der ersten Hälfte dieses Jahres haben sich sowohl Bereitstellungsmuster für Inferenz als auch eine neu entstehende Architektur für KI-Anwendungen zunehmend standardisiert und ermöglichen einen besseren Ausblick auf die künftigen Auswirkungen auf sämtliche Bereiche – vom Netzwerk über die Anwendungsbereitstellung bis hin zur Sicherheit. Die Ergebnisse unserer aktuellen KI-fokussierten Forschung bestärken uns in der Annahme, dass Inferenz sowohl lokal als auch in der Cloud bereitgestellt (selbstverwaltetes Modell), über Angebote von Cloud-Anbietern genutzt (Cloud-gehostetes Modell) und als Dienst bezogen werden wird (Inference-as-a-Service-Modell).
Die sich derzeit herausbildende KI-Architektur stützt sich jedoch stark auf Retrieval-Augmented Generation (RAG), bei der Datenquellen (Wissensgraphen und Vektordatenbanken) in die Anwendungsarchitektur integriert werden. Untersuchungen zufolge nutzen „70 % der Unternehmen, die GenAI einsetzen, Tools und Vektordatenbanken, um Basismodelle zu erweitern“. (Databricks, 2024)
Dieses Architekturmuster hat vier Konsequenzen.
- Erhöht die Anzahl moderner Anwendungs-Workloads im Unternehmen.
- Erhöht die Anzahl der APIs drastisch, die geschützt werden müssen.
- Erhöht die strategische Bedeutung des Ost-West-Datenpfads für Technologien zur Anwendungsbereitstellung und -sicherheit.
- Führt eine neue Schicht ein in Anwendungsarchitekturen – die Inferenzschicht. Dabei handelt es sich um die „Modell“-Schicht, auf die frühe KI-Technologie-Stacks Bezug nehmen. Beim Betrieb von KI-Anwendungen ist es jedoch hilfreich, zwischen einem Modell im Training (Entwicklungsprozess) und einem Modell im Betrieb (Ausführungsprozess) zu unterscheiden.
Es ist wichtig zu beachten, dass 90 % der Herausforderungen, mit denen Unternehmen im Hinblick auf die KI-Architektur konfrontiert sind, nicht neu sind. Die Anpassungen, die erforderlich sind, um die Erwartungen an Transparenz, Ratenbegrenzung, Routing usw. zu erfüllen, bauen schrittweise auf bestehenden Funktionen auf, über die die meisten Unternehmen bereits verfügen.
Von allen Funktionen, die für die Bereitstellung und Absicherung von KI-Anwendungen erforderlich sind, sind meiner Einschätzung nach lediglich 10 % völlig neu. Fast alle davon betreffen Prompts und die unstrukturierte Natur des Datenverkehrs von KI-Anwendungen. Diese 10 % führen zur Entstehung neuer Anwendungsdienste wie Prompt-Sicherheit, Prompt-Management und Prompt-Optimierung sowie datensicherheitsbezogener Funktionen. F5 hat sein Engagement für die Erfüllung dieser Anforderungen bereits durch Partnerschaften mit Portkey und Prompt Security unter Beweis gestellt.
Hier kommen auch zunehmend KI-Gateways ins Spiel. Was genau unter einem KI-Gateway zu verstehen ist und welche Funktionen es bietet, hängt zwar davon ab, wer das jeweilige „Produkt“ anbietet. Ähnlich wie API-Gateways bündeln KI-Gateways jedoch in der Regel Sicherheits- und Anwendungsrouting-Funktionen in einem zentralen, strategischen Kontrollpunkt für Unternehmen. Doch auch hier gilt: Bei den Funktionen des „Produkts“ handelt es sich größtenteils um schrittweise Erweiterungen speziell für KI-Datenverkehr; die übrigen Funktionen sind bereits vorhanden.
Das wirklich Interessante ist für mich die neue Ebene, denn dort werden neue und bestehende Funktionen für die Anwendungsbereitstellung und -sicherheit benötigt.
Tatsächlich führt die Einführung einer neuen Ebene dazu, dass eine neue Rechenzentrumsarchitektur entsteht, deren Infrastruktur die für den großflächigen Betrieb von KI-Inferenz erforderlichen Rechen-, Speicher- und Netzwerkressourcen bereitstellen kann. Auf dieser Ebene entstehen Konzepte wie KI-Netzwerk-Fabrics oder KI-Fabriken – oder wie auch immer wir sie künftig nennen werden. Unabhängig von der Bezeichnung bietet dieses neue Infrastrukturkonzept die Möglichkeit, bestehende Infrastrukturkonzepte auf neuen Hardwaresystemen zu betreiben. Das ist Punkt 4 in der bereitgestellten anschaulichen Grafik.
Aber auch bei Nr. 2 werden einige neue Funktionen benötigt. Zwar handelt es sich bei der Brücke hier um einen recht standardmäßigen Nord-Süd-Datenpfad, bei dem API-Datenverkehr offensichtlich skaliert, abgesichert und weitergeleitet werden muss (ja, diese API dient der Inferenz, aber es ist immer noch eine API), doch an dieser Stelle werden wir wahrscheinlich neue Lastausgleichsalgorithmen sehen – oder zumindest neue Entscheidungskriterien, die in bestehende Algorithmen integriert werden.
Beispielsweise sind die Anzahl der Token und die Kontextfenster besonders wichtig, um die Leistung und die Belastung zu verstehen, die eine bestimmte Anfrage für das empfangende System darstellt – ganz zu schweigen von den Auswirkungen der Token-Anzahl auf die Kosten. Daher liegt die Schlussfolgerung nahe, dass diese Variablen bei jeder unter Punkt 2 getroffenen Entscheidung zur Lastverteilung bzw. Datenverkehrssteuerung berücksichtigt werden könnten.
Punkt 4 ist vielleicht der interessanteste, weil er uns in die Zeit zurückversetzt, als Hardware genutzt wurde, um Netzwerkaufgaben von Servern auszulagern. Ja, damit kehrt der Architekturansatz „Server sollen Dienste bereitstellen“ zurück. In der modernen Welt bedeutet das, DPUs als ganzheitliches System zu nutzen, auf dem Anwendungsbereitstellung und Sicherheit implementiert werden können, sodass die CPU des Inferenzservers sich ganz auf die Inferenz konzentrieren kann. Dieses Muster haben wir schon einmal gesehen, und es wird sämtliche Probleme bei der Skalierung von Inferenzdiensten – und damit auch bei deren Leistung – erfolgreich lösen.
Die Auswirkungen der KI-Architektur auf die Anwendungsbereitstellung und -sicherheit sind zugleich alltäglich und weitreichend. Alltäglich sind sie, weil die Herausforderungen weitgehend dieselben bleiben. Weitreichend sind sie, weil dadurch zusätzliche Punkte in der Architektur entstehen, an denen Unternehmen diese Herausforderungen strategisch angehen können.
Wie die Branche sowohl auf die alltäglichen als auch auf die tiefgreifenden Herausforderungen reagiert, wird die Zukunft der Anwendungsbereitstellung und -sicherheit prägen.
Über den Autor
Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.
Weitere Blogbeiträge von Lori Mac VittieÄhnliche Blogbeiträge
Ein umfassender Leitfaden zur Bereitstellung und Sicherheit von KI-Anwendungen
Entdecken Sie optimale Strategien für die Absicherung und Bereitstellung von KI-Anwendungen.
KI zulassen und einführen? Lehren aus der Public Cloud
Die Einführung von KI steht unmittelbar bevor und könnte entscheidend sein, um wettbewerbsfähig zu bleiben. Daher muss die IT-Sicherheit proaktiv handeln und der KI-Einführung schon jetzt einen Schritt voraus sein, um sie auf einen risikogerechten Weg zu lenken.
Stand der Anwendungsstrategie 2022: Zeit für die Modernisierung des Betriebs
Es ist deutlich geworden, dass Unternehmen ihren Fokus erneut auf die Geschäftsfunktionen richten müssen, um die Dynamik ihrer digitalen Transformation aufrechtzuerhalten. Kundenerlebnisse haben zwar weiterhin Priorität, doch auch Geschäftsfunktionen wie Recht, Personalwesen und Finanzen müssen digitalisiert werden. Das bedeutet, dass CIOs das Steuer übernehmen, während sich die digitale Transformation von der Modernisierung von Anwendungen hin zur Modernisierung von Betriebsabläufen verlagert.
F5s Weg zu einer vielseitigen Plattform für Anwendungsanalysen
F5 bietet heute die umfassendsten Anwendungsdienste entlang des gesamten Weges vom Code bis zum Kunden. Künftig werden wir verstärkt auf Anwendungstelemetrie und -analysen setzen, damit unsere Kunden wertvolle Erkenntnisse über ihre Anwendungen, Geschäftsabläufe und Benutzererlebnisse gewinnen können. Beim Ausbau unserer Cloud-Analysefunktionen werden wir ML und KI noch stärker nutzen, um unsere Kunden bei der Verbesserung ihrer Geschäftsdienste zu unterstützen.
Telemetrie: Eine andere Art von Daten
Verwenden wir den Begriff „Telemetrie“ nur, weil er attraktiver klingt als „Daten“? Letztlich sind sowohl Daten als auch Telemetrie strukturierte Informationseinheiten. Es ist kein Verbrechen, die Begriffe synonym zu verwenden. Doch wenn man es genau nimmt, gibt es einen Unterschied. Und dieser Unterschied wird immer wichtiger werden, je weiter Unternehmen in die Datenökonomie vordringen.
MTTR bedeutet nicht „Mean Time to Reboot“
„Schnell scheitern“ lautet heute das Mantra für mehr Geschwindigkeit. Ob in DevOps oder im Geschäftsleben: Wer in einer digitalen Wirtschaft agiert, muss eine möglichst perfekte Verfügbarkeit gewährleisten.