F5 AI Gateway-Lösungsübersicht
Setzen Sie KI- Applications überall ein – und gewährleisten Sie Sicherheit und Optimierung, um ein ideales Benutzererlebnis zu bieten.
KI Applications stellen eine Vielzahl von Schutz- und Betriebsherausforderungen dar
Mit der Einführung von OpenAI Ende 2022 begann eine umfassende Forschung und Entwicklung im Bereich der Applications Künstliche Intelligenz (KI). Schätzungen zufolge werden bis 2023 30 % der Applications die Kennzeichnung mittels generativer KI (GenAI) nutzen, um ihr Branding im Streben nach neuen Einnahmen neu zu gestalten.*
KI Applications unterscheiden sich von früheren Applications , die auf der erweiterten Nutzung der Application (API) basierten. KI Applications nutzen zwar immer noch APIs zur Interaktion, die Ein- und Ausgaben sind jedoch nicht deterministisch, was bedeutet, dass eingehende Datenanforderungen und Antworten der Application von Benutzer zu Benutzer stark variieren können. Hinzu kommt der Mangel an Transparenz und Korrelation zwischen eingehenden Eingabeaufforderungen und ausgehenden Antworten. Dies stellt ein ernstes Sicherheitsrisiko dar, das den Geschäftswert, den KI liefern soll, zunichte machen könnte.
Der offene Zugang zu KI Applications und ihren Modellen, unabhängig davon, ob er intern nur eingeschränkten Gruppen oder extern jedermann zur Verfügung steht, birgt Sicherheitsrisiken. Benutzer können ihre eigenen Eingabeaufforderungen erstellen, die zu verschiedenen Angriffen, Manipulationen oder unbeabsichtigtem Missbrauch führen können. Beispiele für Angriffe oder Manipulationen sind Model Denial-of-Service (DoS), Prompt Injection, Offenlegung vertraulicher Informationen und Modelldiebstahl. Die Offenlegung sensibler Informationen kann in Form vertraulicher Unternehmensdaten oder personenbezogener Kundeninformationen (PII) erfolgen, was äußerst schädlich sein und zu Klagen oder einem Verlust des Kundenvertrauens führen kann. Darüber hinaus können KI-Halluzinationen zu Problemen bei Mitarbeitern und Kunden führen und schnell teure Ressourcen verbrauchen.
Maximieren Sie KI Applications und minimieren Sie gleichzeitig Risiken mit AI Gateway
F5 AI Gateway wurde entwickelt, um den Zugriff auf KI- Applications zu sichern und zu optimieren und gleichzeitig Angriffe abzuschwächen und die Offenlegung kritischer Informationen zu verhindern.
Schutz vor KI-Angriffen
AI Gateway prüft, identifiziert und blockiert eingehende Angriffe wie Prompt Injection, unsichere Ausgabeverarbeitung, Model Denial of Service, Offenlegung vertraulicher Informationen und Modelldiebstahl. Bei ausgehenden Antworten identifiziert und bereinigt AI Gateway PII-Daten und verhindert Halluzinationen. Software Development Kits (SDKs) ermöglichen die zusätzliche Durchsetzung von Betriebsregeln und Compliance-Anforderungen für Eingabeaufforderungen und Antworten, um eine noch bessere Anpassung an die Betriebsanforderungen zu gewährleisten.
Maximieren Sie die Leistung von KI-Anwendungen und senken Sie die Kosten
AI Gateway bietet Verkehrsrouting und Ratenbegrenzung für lokale und externe Large Language Models (LLMs), um die Serviceverfügbarkeit und Leistung aufrechtzuerhalten und die Kosten im Griff zu behalten. Das Benutzererlebnis wird durch semantisches Caching weiter verbessert, das schnellere Reaktionszeiten ermöglicht und die Betriebskosten durch das Entfernen doppelter Aufgaben aus LLMs senkt.
Implementieren Sie KI-Sicherheit überall
AI Gateway basiert auf Kubernetes und kann daher in öffentlichen Clouds, auf privaten Cloud-Plattformen oder in lokalen Rechenzentren eingesetzt werden. Beliebte KI-Modelle wie OpenAI, Anthropic, Ollama und generische HTTP-Upstream-LLMs und Small Language Model (SLM)-Dienste werden unterstützt.
Beobachtbarkeit und Prüfpfad für Governance und Compliance
Durch die OpenTelemetry- Unterstützung ist die Sichtbarkeit aller Metriken, Protokolle und Spuren von Transaktionen und Sicherheitsereignissen möglich. Darüber hinaus liefert es umfassende Messdaten wie LLM/SLM-Token-Anzahl, Anforderungsvolumen, Systemressourcenauslastung und Leistung. Zur Einhaltung der Sicherheitsvorschriften sind AI Gateway-Konfigurationen durch den Export von Prüfdaten leicht verfügbar.
AI Gateway sichert und optimiert KI- Applications
KI stellt die nächste Welle in der Entwicklung von Applications dar, bringt aber auch ernsthafte Herausforderungen mit sich, die die Vorteile leicht überwiegen könnten. Angesichts der Tatsache, dass eingehende Eingabeaufforderungen an KI Applications Angriffe auf Ressourcen sein oder zum Abgreifen von Daten dienen könnten, ist die Sicherung der KI- Applications von größter Bedeutung. Flexibilität bei der Bereitstellung und LLM/SLM-Unterstützung sind ebenso wichtig wie die Markteinführungszeit und das Kostenmanagement. KI Applications erfordern eine ausgereifte Sicherheitslösung, um Angriffe über eingehende Eingabeaufforderungen abzuschwächen und das Auslaufen vertraulicher Daten oder Halluzinationen zu verhindern. Durch die Transparenz aller Transaktionen wird sichergestellt, dass Kostenmanagement, Governance und Compliance in den täglichen Betriebsablauf integriert sind.
Hauptvorteile
- Identifizieren und blockieren Sie sowohl eingehende Angriffe wie Prompt-Injection, unsichere Ausgabeverarbeitung und Offenlegung vertraulicher Informationen als auch Modelldiebstahl.
Optimieren Sie KI-Interaktionen
- Behalten Sie die Leistung bei, steigern Sie die Serviceverfügbarkeit und kontrollieren Sie die Kosten mit Verkehrsrouting, Caching und Ratenbegrenzung für lokale und Drittanbieter-SLMs und LLMs.
KI-Sicherheit überall
- Stellen Sie AI Gateway überall auf Kubernetes-Instanzen bereit, um schnell Sicherheits- und Leistungsdienste aufzubauen.
Hauptmerkmale
- Überprüfen und erzwingen Sie Sicherheits- und Betriebsrichtlinien für eingehende Eingabeaufforderungen und ausgehende Antworten.
Stoppen Sie Datenlecks
- Verhindern Sie die unbeabsichtigte Offenlegung von Informationen durch die Echtzeitidentifizierung und Bereinigung vertraulicher oder PII-Daten.
Optimieren Sie Ihre Reaktionen und senken Sie Ihre Betriebskosten
- Durch semantisches Caching sind schnelle Antworten auf Eingabeaufforderungen möglich, ohne dass SLM- und LLM-Token verbraucht werden.
Anpassbar an geschäftliche Anforderungen
- Software Development Kits (SDKs) ermöglichen die benutzerdefinierte Verarbeitung eingehender Eingabeaufforderungen und ausgehender Antworten für eine bessere Anpassung an Organisations- und Compliance-Anforderungen.