Dieser Blogbeitrag ist der sechste in einer Reihe über die Bereitstellung von Daten für KI.
Pipelines für künstliche Intelligenz enden nicht, wenn die Daten ein Modell erreichen. In vielerlei Hinsicht beginnt dort erst die schwierigste Arbeit.
Nachdem Daten aufgenommen, transformiert und für das Training oder die Inferenz bereitgestellt wurden, müssen Unternehmen sie noch in KI-Anwendungen integrieren und diese Nutzern, Partnern und Systemen in großem Maßstab zur Verfügung stellen. Diese Anwendungen ermöglichen nun deutlich bessere Kundenerlebnisse, automatisieren Arbeitsabläufe und unterstützen Entscheidungen in Echtzeit. Daher zählen Verfügbarkeit, Leistung, Sicherheit und Governance weiterhin zu den wichtigsten Aspekten bei der Anwendungsbereitstellung.
Für die zuverlässige Bereitstellung von KI-Anwendungen braucht es mehr als nur die neuesten und besten Modelle oder Infrastrukturen. Erforderlich ist eine Steuerungsebene, die den KI-Datenverkehr intelligent verwaltet, knappe Ressourcen schützt und sich an hochdynamische Umgebungen anpasst.
Hier spielt der Application Delivery Controller (ADC) weiterhin eine zentrale Rolle
Warum die Bereitstellung von KI-Anwendungen anders ist
Herkömmliche Anwendungen bearbeiten in der Regel kurzlebige, vorhersehbare Anfragen. KI-Anwendungen verhalten sich dagegen ganz anders. Auf meinen Reisen rund um die Welt habe ich mit vielen Menschen gesprochen, die KI-Anwendungen entwickelt haben, und dabei einige Gemeinsamkeiten in diesen Gesprächen festgestellt.
KI-Datenverkehr tritt häufig in Schüben auf und ist ungleichmäßig. Anfragen können umfangreiche Prompts und Kontextinformationen enthalten. Antworten werden möglicherweise kontinuierlich gestreamt, anstatt vollständig auf einmal zurückgegeben zu werden. Eine einzelne Anfrage kann sich auf mehrere Dienste auffächern, darunter Retrieval-Systeme, Embedding-Dienste und nachgelagerte Tools. Im Hintergrund beanspruchen Inferenz-Workloads kostspielige Ressourcen mit begrenzter Kapazität, beispielsweise GPUs.
KI-Anwendungen führen zudem ein neues Verständnis von Sitzungen ein. Sitzungsdaten werden nicht mehr auf einem einzelnen Server vorgehalten, sondern befinden sich im Kontext, der in Prompt und Antwort übermittelt wird. Dies entlastet zwar die Inferenzserver, bedeutet jedoch, dass auf der Anwendungsbereitstellungsebene ein enormes Maß an Intelligenz implementiert werden muss. Der ADC ist nun ein integraler Bestandteil der Anwendung.
Ausfälle in KI-Systemen sind ebenfalls selten eindeutig. Ein Inferenzcluster kann zwar in Betrieb sein, aber einzelne Knoten können überlastet sein. Ein Retrieval-Dienst reagiert möglicherweise nur langsam. Eine bestimmte Region kann ausgelastet sein, während andere weiterhin einwandfrei funktionieren. Ohne intelligente Mechanismen zur Datenverkehrssteuerung beeinträchtigen solche Teilausfälle schnell die Benutzererfahrung und treiben die Kosten in die Höhe.
Bei großem Maßstab wird die Bereitstellung von KI-Anwendungen zu einer Systemherausforderung und nicht nur zu einer Netzwerkherausforderung.
Der ADC als Steuerungsebene für KI-Anwendungen
Ein ADC stellt eine zentrale Steuerungsebene bereit, die zwischen Clients und KI-Diensten angesiedelt ist. Anstatt den Datenverkehr lediglich weiterzuleiten, steuert er aktiv, wie KI-Anwendungen genutzt werden.
Plattformen wie F5 BIG-IP verwalten KI-Datenverkehr in Hybrid- und Cloud-nativen Umgebungen, setzen Richtlinien konsistent durch und passen sich gleichzeitig in Echtzeit an veränderte Bedingungen an. F5 BIG-IP ist sowohl ein ADC als auch eine zentrale Komponente der F5 Application Delivery and Security Platform.
In der F5-Referenzarchitektur für KI fungiert BIG-IP als zentraler Zugangspunkt für KI-Anwendungen. Es vermittelt den Zugriff auf Modellendpunkte, Retrieval-Dienste und unterstützende APIs und sorgt dafür, dass der Datenverkehr effizient weitergeleitet, angemessen abgesichert und kontinuierlich überwacht wird.
Intelligentes Traffic-Management für KI-Workloads
Die Bereitstellung von KI-Anwendungen stellt neue Anforderungen an das Traffic-Management. Einfaches Round-Robin-Load-Balancing reicht nicht mehr aus. (Warum KI-Speicher einen neuen Ansatz für das Load-Balancing erfordert, erläutern wir in diesem früheren Blogbeitrag der Reihe.)
ADCs ermöglichen eine intelligente Anforderungssteuerung auf Grundlage des Zustands der Backends, der geografischen Nähe, der Kapazität und semantischer Richtlinien. Anforderungen können an bestimmte Modellversionen, Inferenz-Pools oder Regionen weitergeleitet werden. So können Teams neue Modelle mithilfe von Canary-Bereitstellungen oder schrittweisen Rollouts sicher einführen. Wenn die Leistung eines Backends nachlässt, kann der Datenverkehr automatisch umgeleitet werden, ohne einen vollständigen Ausfall abzuwarten.
Dieser Ansatz ist entscheidend, wenn Backend-Ressourcen knapp und kostspielig sind. Anstatt übermäßig viele GPUs bereitzustellen, um Lastspitzen abzufangen, können Unternehmen mithilfe von Steuerungsmechanismen auf ADC-Ebene den Datenverkehr glätten, Anfragen von stark ausgelasteten Knoten weglenken und die Stabilität des Gesamtsystems gewährleisten.
Sicherheit und Governance am KI-Zugangspunkt
Jeder Endpunkt einer KI-Anwendung ist nach wie vor ein Anwendungsendpunkt – und für Cyberkriminelle oft ein attraktives Ziel.
Mit der zunehmenden Verbreitung von KI entstehen auch neue Formen des Missbrauchs. Angriffe zur Kostenausreizung, automatisiertes Scraping, Prompt-Flooding und unbefugter Zugriff auf Premium-Modelle geben zunehmend Anlass zur Sorge. Diese Risiken lassen sich nicht allein innerhalb des Modells bewältigen.
ADCs bieten einen natürlichen Durchsetzungspunkt für Sicherheits- und Governance-Kontrollen. Authentifizierung, Autorisierung, Ratenbegrenzung, API-Schutz und Schutzmaßnahmen für Modelle können einheitlich angewendet werden, bevor der Datenverkehr die KI-Dienste erreicht. Dadurch werden Risiken reduziert, während die Flexibilität der Anwendungsteams erhalten bleibt.
Wichtig ist, dass ADCs ein idealer Ansatzpunkt für die Umsetzung von Governance-Zielen sein können. Unternehmen können Kontingente auf Mandantenebene durchsetzen, kritische Workloads priorisieren und die KI-Nutzung mit Richtlinien und Budgetvorgaben in Einklang bringen, ohne Anwendungen neu schreiben oder Modelle erneut trainieren zu müssen.
Leistungsoptimierung für interaktive KI
Je interaktiver KI wird, desto stärker nehmen Nutzer ihre Leistungsfähigkeit wahr.
Latenzspitzen, stockende Antworten und abgebrochene Streams beeinträchtigen sofort das Vertrauen. ADCs tragen zur Leistungsoptimierung bei, indem sie langlebige Verbindungen verwalten, den TLS-Overhead auslagern und Streaming-Protokolle effizient handhaben. Sie können eine Überlastung der Backend-Systeme frühzeitig erkennen und den Datenverkehr umleiten, bevor Nutzer Leistungseinbußen bemerken.
Durch die Trennung der Bereitstellungsaspekte von der Anwendungslogik können Teams die Performance dynamisch an sich verändernde Workloads anpassen.
Diensterkennung und Kubernetes-Integration
Die meisten KI-Anwendungen werden auf Kubernetes ausgeführt, wo Dienste dynamisch skaliert werden und sich Endpunkte häufig ändern.
ADCs lassen sich in Kubernetes integrieren, um Services automatisch zu erkennen, Skalierungsereignisse in Echtzeit zu verfolgen und den Datenverkehr an die richtigen Pods oder Services weiterzuleiten, sobald diese bereitgestellt oder entfernt werden. Kubernetes bietet Konstrukte, die intelligente Inferenzfunktionen ermöglichen und von F5 genutzt werden. Dank dieser Integration kann F5 einheitliche Bereitstellungs- und Sicherheitsrichtlinien über den Cluster hinaus auf Hybrid- und Multicloud-Umgebungen ausweiten.
Für KI-Workloads ist diese externe Steuerungsebene besonders wertvoll. Sie entkoppelt das Traffic-Management und die Durchsetzung von Richtlinien von einzelnen Clustern und ermöglicht so eine zentrale Transparenz und Governance, selbst wenn KI-Dienste schnell und unabhängig voneinander skalieren.
Warum F5 für die Bereitstellung von KI-Anwendungen
F5 vereint Traffic-Management, Sicherheit und Observability auf einer einzigen, bewährten Plattform. Für KI-Anwendungen bedeutet dies eine vorhersehbare Performance, einen stärkeren Schutz kostspieliger Backend-Ressourcen und eine einheitliche Governance über verschiedene Umgebungen hinweg.
Durch den Einsatz auf der Bereitstellungsebene ermöglicht F5 Unternehmen, KI sicher zu skalieren, ohne Innovationen auszubremsen. Teams können neue Modelle einführen, neue Anwendungsfälle unterstützen und ihre Aktivitäten cloudübergreifend ausweiten, während sie gleichzeitig die Kontrolle über Kosten, Risiken und Zuverlässigkeit behalten. (Weitere Informationen über F5 und seine Rolle bei der Bereitstellung von KI-Anwendungen).
Vom raffinierten Kraftstoff zur zuverlässigen Bereitstellung
In einem früheren Beitrag unserer Reihe zur Datenbereitstellung für KI haben wir den Weg der KI mit der Förderung und Verarbeitung in einer Ölpipeline verglichen, bei der die Aufnahme, Transformation und Bereitstellung der Daten den Brennstoff aufbereiteten. Die Daten wurden extrahiert, veredelt und für die Nutzung vorbereitet.
Die Bereitstellung von KI-Anwendungen ist der letzte Schritt auf diesem Weg. Sie ist das Verteilungsnetz, das dafür sorgt, dass der aufbereitete Brennstoff die Motoren tatsächlich sicher, effizient und in großem Maßstab erreicht. Pumpen, Ventile, Messsysteme und Überwachung sind dabei ebenso wichtig wie die Raffineriekapazität.
Application Delivery Controller stellen diese Steuerungsebene für KI bereit. Sie regulieren den Datenverkehr, verhindern Überlastungen, setzen Richtlinien durch und gewährleisten auch bei steigender Nachfrage die vereinbarten Service-Level. Ohne sie können selbst die fortschrittlichsten Modelle nur schwer einen beständigen geschäftlichen Mehrwert liefern.
Bei großflächigem Einsatz hängt der Erfolg von KI nicht nur davon ab, was Modelle leisten können. Entscheidend ist auch, wie zuverlässig diese Fähigkeiten bereitgestellt werden.
F5 stellt KI-Anwendungen überall bereit und schützt sie
Weitere Informationen zu unseren Lösungen für die Bereitstellung von KI-Daten finden Sie auf unserer Webseite zu Lösungen für die Bereitstellung und Infrastruktur von KI-Daten .
Der KI-Fokus von F5 geht über die Datenbereitstellung hinaus. Erfahren Sie, wie F5 KI-Anwendungen überall schützt und bereitstellt.
Lesen Sie auch die anderen Blogbeiträge aus unserer Reihe zur KI-Datenbereitstellung:
Die KI-Datenpipeline mit F5 und S3-kompatiblem Speicher versorgen
KI optimieren durch die Beseitigung von Engpässen in modernen Workloads
KI-Datenpipelines von der Aufnahme bis zur Bereitstellung nachverfolgen
Warum KI-Speicher einen neuen Ansatz für den Lastenausgleich erfordern
Best Practices zur Optimierung von KI-Infrastrukturen im großen Maßstab
Sichern Sie Ihre KI-Datenpipeline, ohne sie auszubremsen
Über den Autor
Ähnliche Blogbeiträge
Vier Gründe, warum Sie den F5 Post-Mythos Security Summit nicht verpassen sollten
Holen Sie sich Expertenrat, um Ihre Apps, APIs und Modelle in der Post-Mythos-Welt zu schützen.
Von einer App zu einer ganzen Agentenflotte: Ein 90-Tage-Framework für KI-Sicherheit
Vermeiden Sie den kostspieligen Ansatz „Jetzt bereitstellen, später absichern“ – mit einem umfassenden Framework zum Schutz von KI-Modellen, Anwendungen und autonomen Agenten.
Fünf Stufen antifragiler Cyberresilienz verwandeln Praxis in Ergebnisse
Erfahren Sie, wie fünf Stufen antifragiler Resilienz Störungen in adaptive Verhaltensweisen überführen, die Ausfälle begrenzen und hybride Multicloud-Architekturen stärken.
Warum Ihre KI-Richtlinien, Governance und Leitplanken nicht warten können
KI-Richtlinien und -Governance dürfen nicht länger als reine Formalitäten oder Zukunftsthemen betrachtet werden. Sie müssen durch praktische, durchsetzbare Leitplanken ergänzt werden.
Wenn „privat“ nicht privat ist: Wie ChatGPT-Unterhaltungen öffentlich wurden
KI verändert die Arbeitsabläufe in Unternehmen, doch eine übersehene Einstellung hat bereits Tausende vertraulicher Unterhaltungen öffentlich zugänglich gemacht
KI-Nutzung verstehen: Warum Unternehmen Transparenz brauchen
Anstatt einen zu laxen oder zu strengen Ansatz zu verfolgen, können Unternehmen durch mehr Transparenz bei der KI-Nutzung fundierte und durchsetzbare Entscheidungen treffen.