Ein programmierbares Speicher-Gateway für KI- und Unternehmensbereitstellungen

Die meisten Sicherheitsarchitekturen erfordern Kompromisse

Objektspeicher funktioniert in der Cloud, weil Kapazität, Durchsatz und Endpunkte hinter einer einzigen Adresse wachsen können, ohne dass die Anwendung etwas davon bemerkt. On-Premises ist das schwieriger, da ein Cluster aus einer begrenzten Anzahl von Zugriffsknoten hinter einem festen Endpunkt besteht. Speicher, der früher für Backups und Archive genutzt wurde, versorgt heute Modelltraining, Fine-Tuning und die Erstellung von RAG-Indizes. Skalierbarkeit und Ausfallsicherheit sind daher längst keine optionalen Eigenschaften mehr.

F5 BIG-IP schließt diese Lücke. lg F5 BIG-IP befindet sich als vollständiger Proxy im S3-Datenpfad und gibt dem Storage-Team die Kontrolle darüber, welchen Endpunkt die Clients auflösen, wie Anfragen auf Zugriffsknoten verteilt und wie Ausfälle behandelt werden. BIG-IP optimiert, sichert und leitet den Objektspeicher-Datenverkehr dynamisch durch:

• Sicherstellung der kontinuierlichen Verfügbarkeit durch aktive, realitätsnahe S3-Integritätsprüfungen auf jedem Zugriffsknoten.
• SSL/TLS wird auf dedizierter, speziell dafür entwickelter Hardware terminiert, sodass die CPU-Ressourcen des Speichers für die Bereitstellung von Objekten statt für Handshakes genutzt werden.
• Maximierung des Durchsatzes durch benutzerdefinierte TCP-Profile, die speziell auf S3-Workloads mit hoher Bandbreite abgestimmt sind.
• Intelligente Datenverkehrssteuerung mit nativen iRules auf Bucket-Ebene sowie auf Basis von Schlüsselpräfixen und Vorgängen.

Wichtigste Vorteile

S3-Datenverkehr intelligent verteilen und weiterleiten

BIG-IP stellt einen einzigen virtuellen S3-Endpunkt bereit und ordnet ihm die Ressourcen zu, die das Storage-Team dahinter vorsehen möchte – seien es zusätzliche Knoten, ein zweiter Cluster, ein anderer Anbieter oder ein aus der Public Cloud zurückgeholter Datensatz. Mit gewichteten Pools lässt sich eine Workload schrittweise verlagern, statt sie in einer einzigen riskanten Umstellung zu migrieren. Durch die Steuerung anhand von Buckets oder Schlüsselpräfixen kann die Migration Datensatz für Datensatz erfolgen. Wer schon einmal an einer Diskussion über S3-Interoperabilität teilgenommen hat, weiß, dass sich Implementierungen in kleinen, aber folgenreichen Details unterscheiden. iRules bieten die Möglichkeit, diese Unterschiede auszugleichen, indem Adressierungsarten und Header am Netzwerkrand umgeschrieben werden, sodass Anwendungen nie berücksichtigen müssen, welche Implementierung die Anfrage beantwortet.

Durchsatz mit mandantenspezifischer QoS stabil halten

Hunderte gleichzeitig ausgeführte Trainings-Worker, die denselben Endpunkt auflösen, konzentrieren sich häufig auf die Zugriffsknoten, die sie zuerst erreicht haben. Das daraus resultierende Ungleichgewicht führt dazu, dass einige wenige Zugriffsknoten ausgelastet sind, während andere ungenutzt bleiben. Daran ändert auch die aggregierte Bandbreite des Clusters nichts. BIG-IP verteilt diese parallelen Zugriffe auf alle Knoten, verwendet Backend-Verbindungen wieder und übernimmt die TLS-Terminierung hardwareseitig, sodass die CPU-Ressourcen des Speichers Daten bereitstellen können, anstatt Handshakes zu verarbeiten. TCP-Profile, die für kontinuierliche Lesevorgänge großer Objekte sowie für den hochparallelen Zugriff auf kleine Objekte optimiert sind, sorgen für einen vorhersehbaren Durchsatz in gemischten Pipelines. Darüber hinaus verhindern mandantenspezifische Ratenbegrenzungen, dass ein einzelner aggressiver Job oder eine Lastspitze bei der Checkpoint-Erstellung alle anderen Workloads unter den Auslastungsschwellenwert drückt, an dem die Plattform gemessen wird.

Ausfälle und geplante Arbeiten sicher überstehen

BIG-IP-Monitore auf Anwendungsebene führen echte S3-Operationen für jeden Knoten aus und nehmen fehlerhafte Mitglieder aus der Rotation, bevor Clients überhaupt einen Unterschied bemerken. So lassen sich Knoten routinemäßig für ein Firmware-Update aus dem Betrieb nehmen, ausgefallene Hardware ersetzen oder Cluster erweitern, während Lese- und Schreibvorgänge ununterbrochen weiterlaufen. Wenn die Leistung eines gesamten Standorts beeinträchtigt ist, leitet BIG-IP DNS den Datenverkehr an einen fehlerfreien Standort weiter. Geplante Arbeiten am Speichersystem erfordern keine Sitzung des Change Advisory Boards und keinen Raum voller Anwendungsverantwortlicher mehr, da es aus Sicht der Anwendung so aussieht, als wäre überhaupt nichts geschehen.

Jede Objektanfrage einsehen und steuern

Direkte Verbindungen zwischen Clients und Buckets liefern dem Storage-Team lediglich Kapazitätsdiagramme und kaum weitere Informationen. Als Proxy protokolliert BIG-IP, wer was angefordert hat, auf welchen Bucket zugegriffen wurde, welcher Vorgang ausgeführt wurde und wie lange er dauerte. Dadurch werden Kostenverrechnung, Audit-Beantwortung und Kapazitätsplanung zu einer Frage des Reportings statt der forensischen Analyse. Gleichzeitig setzt BIG-IP Richtlinien durch und schützt S3-Endpunkte sowie Backup-Repositorys vor API-Missbrauch, DDoS-Angriffen auf den Ebenen 3 bis 7, Angriffen auf Zugangsdaten und dem unbefugten Abfluss von Daten, deren Aufbereitung Monate gedauert hat. Zudem lagert BIG-IP TLS auf Hardware aus, sodass keine CPU-Ressourcen des Clusters für die Verschlüsselung beansprucht werden. Und da kuratierte Datensätze über Jahre hinweg bestehen bleiben, handelt BIG-IP bereits heute hybride Post-Quanten-Schlüsselaustauschverfahren für die Datenübertragung aus und schließt damit das Zeitfenster für „jetzt sammeln, später entschlüsseln“, bevor es sich öffnet.

Funktionen

BIG-IP wird vor jedem S3-kompatiblen Zielsystem als Hardware, virtuelle Edition oder Container bereitgestellt, ohne dass Änderungen an den Speicherknoten erforderlich sind.

Für S3-Datenverkehr optimierte TCP-Profile

• Fensterskalierung und Puffergrößen sind auf kontinuierliche Lesevorgänge großer Objekte über Verbindungen mit hoher Bandbreite und hoher Latenz abgestimmt
• Profiloptionen für die bei Sprach- und RAG-Datensätzen typischen hochgradig parallelen Lesezugriffe auf kleine Datenmengen
• Überlastungs- und Leerlauf-Timeout-Verhalten, das für langlebige mehrteilige Upload-Sitzungen geeignet ist
• Full-Proxy-Architektur; clientseitige und speicherseitige TCP-Stacks werden unabhängig voneinander optimiert

S3-native Programmierbarkeit mit F5 iRules

• Anforderungssteuerung nach Bucket, Schlüsselpräfix, HTTP-Methode oder S3-Operation
• Umsetzung zwischen virtueller Host- und pfadbasierter Adressierung am Edge
• Canary-Routing, das ein neues Backend anhand eines einzelnen Datensatzes validiert, bevor die Umstellung in größerem Umfang erfolgt
• Benutzerdefinierte Telemetrie pro Anfrage und Durchsetzung von Konventionen für die Benennung oder Kennzeichnung von Buckets

Endpunktabstraktion

• Ein virtueller Server und DNS-Name vor mehreren Backends
• Gewichtete Pools für die schrittweise Migration, Rückführung und Anbieterbewertung
• Aufteilung von Lese- und Schreibzugriffen auf verschiedene Cluster oder Ebenen
• SigV4 wird bei der Durchleitung beibehalten oder bei der Übersetzung von Endpunkten durch iRules neu signiert

Zustandsüberwachung und Failover

• Monitore senden echte S3-Anfragen und führen nicht nur TCP- oder ICMP-Prüfungen durch
• Ordnungsgemäßes Leeren von Knoten, Prioritätsgruppen und Ausweich-Pools
• Standort- und Cloud-übergreifende Datenverkehrssteuerung mit F5 BIG-IP DNS
• Hochverfügbarkeitspaare mit Verbindungsspiegelung

Leistungsentlastung und S3-QoS

• Hardware-TLS-Offloading und Zertifikatsverwaltung auf F5 rSeries und F5 VELOS
• Wiederverwendung von Back-End-Verbindungen mit OneConnect
• Bandbreitensteuerungen mit garantierten Mindestwerten und festen Obergrenzen pro Workload-Klasse
• Raten- und Verbindungslimits pro Client, Mandant oder Bucket, damit Lesezugriffe für Trainings gegenüber Hintergrundkopien und Wiederherstellungen priorisiert werden

Multi-Netzwerk- und Dual-Stack-Zugriff

• Dual-Stack-IPv4 und -IPv6 mit Übersetzung zwischen Client- und Speichernetzwerken
• Ein S3-Endpunkt, der mithilfe von VLANs und Routing-Domänen in Daten-, Backup- und Partnernetzwerken bereitgestellt wird
• Netzwerkspezifische Isolierung von Mandanten und Richtlinien auf gemeinsam genutzten Speicherclustern
• SNAT- und Self-IP-Steuerung für mehrfach angebundene Cluster-Topologien

Sicherheit am Speicherrand

• F5 WAF zum Schutz der S3-API, zur Abwehr von DoS-Angriffen auf Layer 7 und für einen gehärteten Zugriffspfad auf Backup-Repositorys
• F5 BIG-IP Advanced Firewall Manager zur Abwehr von Netzwerk-DDoS-Angriffen und zur Endpunkt-Zugriffskontrolle
• F5 BIG-IP Zero Trust Access für gegenseitiges TLS und Maschinenidentität auf Ingestion-Clients
• Post-Quanten-Bereitschaft, hybrider Schlüsselaustausch in TLS 1.3 mit ML-KEM gemäß FIPS 203
• Anfragebezogene Protokollierung nach Mandant, Bucket und Vorgang, gestreamt an die SIEM- und Observability-Plattform

Detailansicht der Ebene 3 einer KI-Architektur für Ingenieure und Architekten

Abbildung: F5 unterstützt und schützt jede Phase der KI-Referenzarchitektur. In den Datenaufnahmepfaden stellt F5 einen zentralen S3-Endpunkt bereit und optimiert, steuert und schützt den Datenverkehr für Training, Feinabstimmung und RAG, der den Objektspeicher erreicht.

Spezifikationen

Ressourcen

Validierung der Ausfallsicherheit bei der Bereitstellung von KI-Daten: F5 BIG-IP und Dell ObjectScale

Optimieren Sie mit F5 rSeries, VELOS und BIG-IP LTM die Kosten der KI-Datenverarbeitung und erhöhen Sie die Sicherheit

KI-Datenaufnahme ermöglichen

Leistungsstarke KI-Datenbereitstellung für S3-kompatiblen Speicher