F5 BIG-IP v21.0 verbessert die Bereitstellung und Aufnahme von KI-Daten für S3-Workflows

Hunter SmitSenior Manager, Produktmarketing | F5

Mark MengerLösungsarchitekt | F5

Fouad ChmainyLösungsarchitekt

Amazon S3 hat die moderne Infrastruktur grundlegend verändert. Durch die Trennung von Objektspeicher und Rechenleistung bot S3 Anwendungsteams langlebige, kostengünstige Kapazitäten mit einer einfachen API und – ebenso wichtig – einen neutralen Ort für Daten, die an einer Stelle erstellt und an einer anderen genutzt werden. Dieses Modell ist zu einem Grundpfeiler für KI-Pipelines geworden: Trainingsdaten werden in Buckets abgelegt, Datensätze für das Fine-Tuning durchlaufen versionierte Präfixe und Wissenskorpora für die Retrieval-Augmented Generation (RAG) werden den ganzen Tag über von Indexern abgerufen.

Mit der Skalierung von KI-Infrastrukturen reicht es nicht mehr aus, Anwendungen einfach auf S3-kompatible Objektspeicher auszurichten. Unternehmen benötigen eine Bereitstellungsebene, die Datenbewegungen planbar, schnell und sicher macht. Genau hier setzt KI-Datenbereitstellung an: Sie sorgt dafür, dass die richtigen Daten sicher in Objektspeicher gelangen und zuverlässig für die Workflows von KI-Modellfabriken bereitgestellt werden – mit den passenden zugrunde liegenden Richtlinien und standortübergreifender Ausfallsicherheit. So können Trainings-, Feinabstimmungs- und RAG-Workflows planmäßig durchgeführt werden. Ein Application Delivery Controller (ADC), der dem Speicher vorgeschaltet ist, ist sowohl aus geschäftlicher als auch aus technischer Sicht unverzichtbar. Er dient als Kontrollinstanz, die Objektspeicher vor Lastspitzen schützt, den Durchsatz stabilisiert, um die Zuverlässigkeit des Clusters sicherzustellen, und die Governance für hybride Multicloud-S3-Bereitstellungen zentralisiert.

Warum sollten wir F5 BIG-IP vor Datenspeichern platzieren?

Heutige KI-Speichersysteme gleichen dem Web-Traffic von gestern – nur auf Steroiden. Die Datenaufnahme erfolgt in Schüben (z. B. durch parallele Schreibvorgänge und mehrteilige Uploads), Lesezugriffe sind zufällig und Wartungsarbeiten fallen kontinuierlich an (z. B. die Wiederherstellung von Knoten, Komprimierungen und die Verlagerung zwischen Speicherebenen). Diese unvorhersehbaren Muster erfordern eine Architektur, die Anwendungen vom zugrunde liegenden Speicher entkoppelt und Workloads vor Störungen und Schwankungen bei den Endpunkten schützt. Ohne diese dedizierte Bereitstellungsebene stehen Unternehmen vor acht häufigen Problemen:

1. Herausforderungen bei der lokalen Ausfallsicherheit: Ein einzelner langsamer oder im Wiederaufbau befindlicher Knoten kann den Auftragsdurchsatz beeinträchtigen. F5 BIG-IP mindert dieses Risiko durch gezielte Zustandsüberwachungen, etwa S3-HEAD/GET-Prüfungen für Canary-Schlüssel, richtlinienbasierten Lastenausgleich und das kontrollierte Beenden von Verbindungen, um unterbrechungsfreie, lang andauernde Übertragungen während Wartungsarbeiten sicherzustellen.
2. Manuelle globale Ausfallsicherheit: F5 BIG-IP DNS leitet Clients basierend auf Systemzustand, Nähe und Geschäftsrichtlinien automatisch an den optimalen Standort weiter. Cluster- oder regionale Failover werden nahtlos durchgeführt, ohne dass Änderungen an den Anwendungsendpunkten erforderlich sind.
3. Dienstgüte und Ratenbegrenzung auf Objekt- und Metadatenebene: BIG-IP prüft und differenziert den Datenverkehr anhand von Bucket, Objekttyp, Größe und Tags. Anfragen mit niedriger Priorität werden zugunsten von Anfragen mit hoher Priorität ratenbegrenzt, wodurch Zeitüberschreitungen und Wiederholungsversuche in überlasteten oder überbuchten Netzwerken vermieden werden.
4. Riskante Upgrades: Upgrades der Speichersoftware können Arbeitsabläufe beeinträchtigen. BIG-IP ermöglicht sichere Blue-Green- oder Rolling-Upgrades, indem der Datenverkehr aus betroffenen Pools abgeleitet und vorübergehend an stabile Systemversionen gebunden wird, bis die Integritätsprüfungen erfolgreich abgeschlossen sind.
5. Überlastete Replikationsdatenströme: Regionsübergreifende Synchronisierung und Cluster-Replikation können in Zeiten hoher Auslastung auf Engpässe stoßen. BIG-IP priorisiert und steuert den Datenverkehr, damit Replikationsprozesse die Leistung von KI-Modell-Workloads nicht beeinträchtigen.
6. Inkonsistente TLS-Konfiguration: BIG-IP zentralisiert die TLS-Verwaltung durch die Übernahme von Offloading, Neuverschlüsselung oder Passthrough. Es setzt einheitliche Verschlüsselungsrichtlinien, Perfect Forward Secrecy (PFS) und bei Bedarf mTLS durch, vereinfacht so Speicherkonfigurationen und ermöglicht eine transparente Skalierung mit SSL-Beschleunigung auf F5 rSeries und F5 VELOS.
7. Schutz durch Post-Quanten-Kryptografie (PQC): Mit BIG-IP können Unternehmen die Empfehlungen des U.S. National Institute for Standards and Technology (NIST) und des EU-Gesetzes über die digitale operationale Resilienz (DORA) erfüllen, indem sie PQC für die Datenübertragung unterstützen und Daten vor Angriffen durch künftige Quantencomputer schützen, etwa vor „Jetzt sammeln, später entschlüsseln“-Angriffen.
8. Schutz vor Angriffen auf das S3-Protokoll: BIG-IP erkennt und blockiert Angriffe auf das S3-Protokoll wie Injektionen, Rechteausweitung, Bucket-Übernahme, Wiederverwendung von Anmeldedaten oder vorsignierten URLs sowie Kontoübernahmen, bevor sie das Backend erreichen.

S3-Datenbereitstellungsprofile sind jetzt in BIG-IP v21.0 verfügbar

BIG-IP Version 21.0 führt S3-TCP/TLS-Profile ein, mit denen sich ein virtueller Server mühelos in einen produktionsbereiten S3-Zugangspunkt verwandeln lässt. Diese Profile bieten TCP-Einstellungen für Verbindungen mit hoher Bandbreite, optimieren das HTTP/S3-Verhalten zur Unterstützung mehrteiliger Uploads und erneuter Übertragungsversuche und implementieren Sicherheitsvorkehrungen wie strikte Positivlisten für Methoden und optionales mTLS. Dies vereinfacht den Übergang von der Clustereinrichtung zu vollständig betriebsbereiten KI-Pipelines und verkürzt die Einrichtungszeit von Tagen auf Minuten.

KI-Datenbereitstellung in der Praxis

Die folgenden Demos veranschaulichen, wie BIG-IP über eine schnellere Einrichtung hinaus einen dauerhaften betrieblichen Mehrwert bietet. Sie zeigen, wie sich die S3-Datenbereitstellung von Änderungen an der Infrastruktur entkoppeln, durch programmierbare Richtlinien dynamisch steuern und vor Belastungen des Clusters schützen lässt. Zusammen verdeutlichen diese Beispiele, wie eine dedizierte Bereitstellungsschicht dafür sorgt, dass KI-Pipelines vorhersehbar, skalierbar und sicher bleiben.

Demo 1: Lebenszyklusabstraktion

Diese Demo zeigt, wie Anwendungen auch bei der Weiterentwicklung von Speicherumgebungen verbunden bleiben und unterbrechungsfrei ausgeführt werden können. Durch die Abstraktion von Endpunkten bleiben Workloads auch bei Änderungen im Cluster-Lebenszyklus, Anbieterwechseln, Versions-Upgrades oder einer Erweiterung des Clusters resilient, ohne dass die Anwendungen neu konfiguriert werden müssen. Gleichzeitig liefert die Observability Einblicke in Performance und Compliance.

Demo 2: Programmierbarkeit der Datenebene

Hier zeigen wir, wie Richtlinien und Routing auf der Datenebene dynamisch angepasst werden können. Diese Flexibilität ermöglicht es Unternehmen, granulare Kontrollen durchzusetzen, Datenverkehrsmuster an geschäftliche Anforderungen anzupassen und risikogesteuerte Übergänge zwischen Umgebungen zu unterstützen.

Demo 3: Hotspot-Prävention

Die abschließende Demo zeigt, wie fortschrittliche Überwachung und intelligenter Lastenausgleich Hotspots reduzieren und Cluster unter hoher Belastung schützen. Indem Unternehmen Ausfälle erkennen und überlastete Knoten vermeiden, bevor diese Arbeitsabläufe beeinträchtigen, können sie einen konstanten Durchsatz gewährleisten und kritische KI-Pipelines absichern.

Gestaltungshinweise für Praktiker

S3-kompatible Speichercluster bilden die Grundlage für skalierbare KI-, Machine-Learning- und datengesteuerte Anwendungen, bringen jedoch auch Herausforderungen mit sich, etwa die Entstehung von Hotspots, die Wartung von Knoten, wechselnde Datenverkehrsmuster und die Gewährleistung der Ausfallsicherheit bei hoher Auslastung. BIG-IP bietet ein flexibles und programmierbares Datenverkehrsmanagement, um diese Herausforderungen effizient zu bewältigen. Im Folgenden finden Sie sieben wichtige Best Practices zur Optimierung von BIG-IP für S3-Umgebungen, um Skalierbarkeit, Leistung und Wartungsisolierung zu erreichen:

1. Intelligente Lastverteilungsalgorithmen nutzen: Vermeiden Sie die Round-Robin-Lastverteilung, da sie aufgrund der gleichmäßigen Verteilung des Datenverkehrs zu Hotspots in S3-Clustern führen kann. Verwenden Sie adaptive Algorithmen wie Dynamic Ratio oder Least Connections, um den Datenverkehr basierend auf dem Zustand und der Auslastungskapazität der Knoten intelligent zu verteilen und so eine vorhersehbare Leistung sicherzustellen.
2. Flexible HA-Architekturen bereitstellen: Diese Konfiguration trennt Wartungsaktivitäten von Client-Workloads, verhindert so Ausfallzeiten und gewährleistet gleichzeitig maximale Fehlertoleranz. Aktiv-Aktiv-Bereitstellungen ermöglichen es mehreren BIG-IP Geräten, den Datenverkehr gleichzeitig zu verarbeiten. Dadurch wird eine kontinuierliche Verfügbarkeit sichergestellt und der Durchsatz bei hohen Workloads erhöht.
3. Konfigurationsautomatisierung verwenden: Automatisierung ermöglicht eine schnellere Bereitstellung, vereinfacht die Skalierung und reduziert den Aufwand für die Pflege konsistenter Konfigurationen in verschiedenen Umgebungen. Verwenden Sie die BIG-IP Application Services 3 Extension (BIG-IP AS3) und BIG-IP Declarative Onboarding, um die Bereitstellung und Konfiguration von BIG-IP zu automatisieren.
4. Erweiterte Integritätsmonitore für S3-Endpunkte verwenden: Aktivieren Sie benutzerdefinierte Integritätsmonitore, um die Verfügbarkeit und Leistung einzelner S3-Endpunkte anhand von Kriterien wie Antwortzeiten, Fehlerraten und Auslastung der Knotenkapazität zu überprüfen. BIG-IP kann Datenverkehr automatisch von beeinträchtigten oder nicht verfügbaren Knoten umleiten und so selbst während Wartungsarbeiten Ausfallsicherheit und unterbrechungsfreie Workloads gewährleisten.
5. Verbessern Sie den Datendurchsatz durch TCP/TLS-Optimierungen: Optimieren Sie TCP-Konfigurationen wie Fensterskalierung und Überlastungssteuerung, um den Durchsatz bei der Übertragung großer KI/ML-Datenmengen zu erhöhen. Das für S3 optimierte TCP-Profil von BIG-IP minimiert die Latenz und gewährleistet eine sichere und schnelle Übertragung verschlüsselter Daten.
6. Nutzen Sie die Programmierbarkeit der Datenebene zur individuellen Anpassung des Datenverkehrs: Benutzerdefinierte Programmierbarkeit ermöglicht eine granulare Steuerung des Datenverkehrs und gewährleistet so Leistung und Flexibilität für individuelle Anforderungen von S3-Workloads. Verwenden Sie die ereignisgesteuerten iRules von BIG-IP, um den Datenverkehr basierend auf Headern, Metadaten oder dem Wartungsstatus einzelner Knoten dynamisch weiterzuleiten.
7. Standortabhängiges Routing von Anfragen aktivieren: Verwenden Sie standortabhängige Routing-Richtlinien, um Datenverkehr anhand der geografischen Nähe oder Latenz bevorzugt an bestimmte Speicherknoten weiterzuleiten. Dies reduziert den Netzwerk-Overhead und verbessert die Antwortzeiten für global verteilte Workloads, die auf S3-Clustern basieren.

Eine dedizierte Bereitstellungsebene für KI-Datenpipelines

S3 bietet universellen, dauerhaften Speicher; F5 BIG-IP Version 21.0 macht Speicher zu einer erstklassigen, auf KI zugeschnittenen Bereitstellungsebene. Das Ergebnis sind leistungsstarke Datenpipelines, die das Training und die Feinabstimmung von Modellen sowie die Bereitstellung von RAG-Workflows kontinuierlich unterstützen, ohne auf fehleranfällige Client-Logik oder benutzerdefinierte Skripte angewiesen zu sein. BIG-IP v21.0 ist jetzt verfügbar. Weitere Informationen finden Sie im Ankündigungsblog zu BIG-IP Version 21.0. Lesen Sie außerdem unbedingt die heutige Pressemitteilung.

Das Engagement von F5 im Bereich KI geht noch weiter – erfahren Sie, wie F5 KI-Anwendungen überall absichert und bereitstellt.

Über die Autoren

Hunter SmitSenior Manager, Produktmarketing | F5

Hunter Smit ist Senior Manager im Produktmarketing für Lösungen und Strategie bei F5. Er leitet das Lösungsmarketing für das gesamte F5-Portfolio, einschließlich KI-Infrastruktur und Anwendungssicherheit, und treibt den Einstieg von F5 in den aufstrebenden Markt für die Bereitstellung von KI-Daten voran. Hunter ist Mitglied des Beirats der School of Business der Whitworth University und war als Lehrbeauftragter für Produktmarketing tätig. Er erwarb an der Whitworth University einen MBA sowie einen Bachelor of Business Administration mit Schwerpunkt Management.

Weitere Blogbeiträge von Hunter Smit

Mark MengerLösungsarchitekt | F5

Mark Menger ist Solutions Architect bei F5 und auf Technologiepartnerschaften in den Bereichen KI und Sicherheit spezialisiert. Er leitet die Entwicklung der KI-Referenzarchitektur von F5 und treibt damit sichere, skalierbare KI-Lösungen voran. Dank seiner Erfahrung als Global Solutions Architect und Solutions Engineer wirkte Mark an der Secure Cloud Architecture von F5 mit und war an der gemeinsamen Entwicklung der Distributed Four-Tiered Architecture beteiligt. Als Mitautor von „Solving IT Complexity“ verfügt er über umfassende Expertise bei der Bewältigung von IT-Herausforderungen. Zuvor war er als Anwendungsentwickler und Enterprise Architect tätig, wobei sein Schwerpunkt auf modernen Anwendungen, Automatisierung und einer schnelleren Wertschöpfung aus KI-Investitionen lag.

Weitere Blogbeiträge von Mark Menger

Fouad ChmainyLösungsarchitekt

Weitere Blogbeiträge von Fouad Chmainy