Unternehmens-KI mit Inferenzgeschwindigkeit bereitstellen und absichern

Die meisten GPU-Cluster in Unternehmen werden weit unter ihrer Kapazitätsgrenze betrieben. Um die GPU-Auslastung zu verbessern, sollten Unternehmen Techniken zur Steigerung der Laufzeiteffizienz wie Continuous Batching, spekulative Dekodierung und Quantisierung einsetzen, mit denen sich ein deutlich höherer Durchsatz aus der Hardware herausholen lässt. Darüber hinaus können sie intelligentes Inferenz-Routing nutzen, um einfache Anfragen an kleinere Modelle weiterzuleiten, und wiederkehrende Antworten zwischenspeichern, damit diese nicht erneut berechnet werden müssen. Wenn Unternehmen diese GPUs angemessen auslasten und den gesamten Stack instrumentieren, können sie die Kosten pro Token senken.

GPUs verarbeiten Daten schneller, als die Pipeline sie bereitstellen kann. Dadurch bleiben diese kostspieligen Beschleuniger während der Wartezeit ungenutzt. Herkömmliche Speichersysteme wurden nicht für den kontinuierlichen Datenzugriff mit hohem Durchsatz konzipiert, den moderne Trainings- und Inferenzprozesse erfordern. Das Problem der Datenübertragung verschärft sich zusätzlich, wenn Zugriffsmuster unvorhersehbar sind, die Vorverarbeitung von einer überlasteten CPU übernommen wird und die Daten über Silos verteilt sind, ohne einen schnellen, einheitlichen Pfad zu den Rechenressourcen. Unternehmen können langsame Datenübertragungen vermeiden, indem sie die Datenbereitstellung als gezielt konzipierte Infrastruktur behandeln. Dazu sollten sie Prefetching, Caching, paralleles Laden und Hochdurchsatzspeicher einsetzen, die Daten näher an den GPUs bereitstellen. Mit diesen Techniken können sie kleinere Cluster kontinuierlich mit Daten versorgen, anstatt größere Cluster zu betreiben, denen ständig Daten fehlen.

Herkömmliche API- und Datensicherheit schützt APIs und vertrauliche Informationen durch Kontrollen wie Authentifizierung, Autorisierung, Schemavalidierung, Bedrohungserkennung und Datenschutz. Diese Kontrollen sind jedoch nicht darauf ausgelegt, die semantische Bedeutung und Absicht natürlichsprachlicher Prompts zuverlässig zu interpretieren, wodurch zusätzliche Risiken für KI-Systeme entstehen. KI-Laufzeitsicherheit schützt Systeme während der Interaktion mit Benutzern. Sie interpretiert natürlichsprachliche Eingaben, um Bedrohungen statt anhand fester Regeln zu erkennen, und prüft Ausgaben, bevor sie die Benutzer erreichen, um sicherzustellen, dass das Modell keine schädlichen Inhalte bereitstellt oder vertrauliche Daten offenlegt.

Laut der gemeinnützigen Organisation OWASP (Open Worldwide Application Security Project) ist Prompt Injection die größte Bedrohung für KI-Systeme. Dabei erstellen Angreifer gezielt Eingaben, um das Verhalten von Modellen zu manipulieren. Eine weitere besonders hoch eingestufte Bedrohung ist die Offenlegung vertraulicher Informationen, bei der Modelle personenbezogene Daten, System-Prompts oder geistiges Eigentum in ihren Ausgaben preisgeben. KI-Schutzmechanismen können dazu beitragen, diese und andere Arten von Bedrohungen abzuwehren. Eingabeseitige Schutzmechanismen prüfen auf Prompt Injection und Muster zur Umgehung von Systemvorgaben, damit Modelle schädliche Anweisungen gar nicht erst verarbeiten. Ausgabeseitige Schutzmechanismen prüfen und validieren Modellausgaben, bevor sie Nutzer erreichen oder nachgelagerte Aktionen auslösen. So tragen sie dazu bei, dass vertrauliche Daten nicht über Modellausgaben offengelegt werden.

Es gibt drei Hauptgründe, warum Unternehmen Daten- und KI-Workloads aus der Cloud in souveräne oder physisch isolierte Umgebungen zurückverlagern. Erstens müssen viele Unternehmen die Kontrolle über regulierte oder sensible Daten verbessern, um Vorschriften zur Datensouveränität einzuhalten und zugleich proprietäre Trainingsdaten aus externen Cloud-Rechenzentren herauszuhalten. Zweitens möchten Unternehmen hohe Gebühren für ausgehenden Datenverkehr und unvorhersehbare Rechnungen von Cloud-Anbietern vermeiden. Schließlich wollen sie die Leistung bei der KI-Inferenz verbessern, indem sie den durch mandantenfähige Cloud-Infrastrukturen verursachten Overhead beseitigen.

Um Datenlecks bei der Nutzung von KI-Agenten und generativen KI-Tools (GenAI) zu verhindern, müssen SecOps-Teams in Unternehmen eine mehrschichtige Abwehrstrategie umsetzen. Diese Strategie sollte Echtzeit-Schutzmechanismen für Ein- und Ausgaben direkt im Datenverkehr, die Beschränkung der Zugriffsrechte von KI-Agenten, die Absicherung von KI-Objektspeichern für Retrieval-Augmented Generation (RAG), den Schutz des API-Zugriffs sowie kontinuierliches Red Teaming und die Behebung aufgedeckter Schwachstellen umfassen. Gleichzeitig sollten die Teams Tools einsetzen, mit denen sich die KI-Nutzung durch Mitarbeitende erkennen, klassifizieren und steuern lässt.

F5 AI Guardrails hilft dabei, Laufzeitrichtlinien durchzusetzen und vor Risiken wie Prompt-Injection, der Offenlegung sensibler Daten, schädlichen Ausgaben und unsicheren Aktionen von Agenten zu schützen. F5 AI Red Team nutzt adversariale Tests, um Schwachstellen und Sicherheitslücken vor und während der Bereitstellung zu identifizieren. F5 AI Gateway bietet einen zentralen Kontrollpunkt zur Steuerung des Zugriffs auf Modelle, Agenten und Tools, während F5 Workforce AI Security Transparenz über die genehmigte und nicht genehmigte KI-Nutzung im gesamten Unternehmen schafft. Zusammen bilden diese Funktionen einen Teil der F5 AI Security Platform. Für einen umfassenderen Schutz und eine zuverlässige Bereitstellung über Anwendungen, APIs und verteilte Umgebungen hinweg bietet die F5 Application Delivery and Security Platform (ADSP) Funktionen wie den Schutz von Webanwendungen und APIs, Bot-Management, DDoS-Abwehr und Anwendungsbereitstellung.