Best Practices für die Optimierung von KI-Infrastrukturen im großen Maßstab

Mark MengerLösungsarchitekt | F5

Dieser Blogbeitrag ist der fünfte in einer Reihe über die Bereitstellung von Daten für KI.

Die meisten Unternehmen haben nicht deshalb Schwierigkeiten mit KI, weil es ihnen an Modellen mangelt – vielmehr nimmt die Zahl und Vielfalt der Modelle stetig zu. Die Schwierigkeiten entstehen, weil ihre Infrastruktur nie darauf ausgelegt war, wie KI Daten verarbeitet und überträgt.

Training, Feinabstimmung und Retrieval-Augmented Generation (RAG) sind allesamt darauf angewiesen, riesige Datenmengen zuverlässig, sicher und wiederholt zwischen Speichersystemen, Netzwerken und Rechenebenen zu übertragen. Mit der Skalierung von KI-Initiativen können sich selbst kleine Ineffizienzen beim Datenzugriff, bei Sicherheitsrichtlinien oder bei der Ausfallsicherheit weitreichend auswirken – sie verlangsamen Pipelines, führen zum Abbruch von Jobs oder treiben die Infrastrukturkosten in die Höhe.

Eine besondere Herausforderung besteht darin, dass KI-Workloads die Infrastruktur auf neue und ungewohnte Weise belasten. Datenübertragungen dauern länger, als es bei herkömmlichen Anwendungen vorgesehen ist. Speichersysteme werden häufiger skaliert und neu ausbalanciert. Sicherheits- und regulatorische Anforderungen erstrecken sich über lokale, Cloud- und Hybridumgebungen. Und Fehler, die bei einer Webanwendung möglicherweise tolerierbar wären, etwa eine kurze Verbindungsunterbrechung oder ein erneuter Versuch, können die Arbeit an einem Modell um Stunden oder Tage zurückwerfen.

Infolgedessen reagieren viele Unternehmen lediglich auf Symptome, anstatt die eigentlichen Ursachen zu beheben. Zu diesen Ursachen gehören häufig Trainingsaufträge, die während Wartungsfenstern ins Stocken geraten, Fine-Tuning-Pipelines, die sich in jeder Umgebung anders verhalten, RAG-Systeme, die unter Last oder bei der Neuindizierung langsamer werden, sowie Sicherheitskontrollen, die uneinheitlich oder in großem Maßstab nur schwer zu verwalten sind.

Bei der Optimierung von KI-Infrastrukturen geht es nicht darum, Spitzenwerte in Performance-Benchmarks zu erzielen. Vielmehr müssen Stabilität, Ausfallsicherheit, Sicherheit und betriebliche Transparenz gewährleistet sein, während alles gleichzeitig skaliert – Daten, Modelle, Umgebungen und Teams.

Acht Dos and Don’ts für den Aufbau einer skalierbaren, resilienten KI-Infrastruktur

Ganz gleich, ob Sie große Modelle trainieren, sie für bestimmte Aufgaben feinabstimmen oder RAG-Systeme betreiben, die Unternehmensdaten abrufen und auswerten: Beachten Sie die folgenden Empfehlungen und Fallstricke. Sie zeigen auf, welche Infrastrukturentscheidungen sich am unmittelbarsten auf Skalierbarkeit und Ausfallsicherheit auswirken.

1. Standardisieren Sie den Speicherzugriff für KI-Workloads. Lassen Sie nicht jeden Job direkt auf einzelne Speicherknoten zugreifen.

• Training: Das wiederholte Lesen großer Datensätze erfordert einen stabilen, zuverlässigen Speicherendpunkt.
• Feinabstimmung: Häufige, kleinere Aufträge profitieren von einem konsistenten Zugriff ohne Neukonfiguration.
• RAG: Die Generierung von Embeddings und Aktualisierungspipelines sind auf einen zuverlässigen Objektzugriff angewiesen.

Eine einheitliche, konsistente Zugriffsschicht verhindert wiederholte Zugriffsversuche, fehleranfällige Skripte und Pipeline-Ausfälle, wenn der Speicher skaliert oder neu ausbalanciert wird.

So kann F5 BIG-IP helfen: F5 BIG-IP kann einen stabilen Zugangspunkt bereitstellen, der KI-Aufträge vor Änderungen im Backend schützt.

2. Legen Sie das Design auf lang andauernde Datenübertragungen mit hohem Volumen aus. Verlassen Sie sich nicht auf Annahmen, die für kurzlebigen Web-Datenverkehr gelten.

• Training: Mehrstündige oder mehrtägige Aufträge müssen vorübergehende Leistungseinbrüche überstehen.
• Feinabstimmung: Ein dauerhaft hoher Durchsatz ist wichtiger als kurzfristige Geschwindigkeitsspitzen.
• RAG: Das Einlesen großer Dokumentmengen und die Neuindizierung erfordern zuverlässige mehrteilige Übertragungen.

KI-Datenverkehr verhält sich anders als Anwendungsdatenverkehr und muss entsprechend behandelt werden.

Wie F5 BIG-IP helfen kann: Damit lassen sich langlebige Verbindungen mit hohem Durchsatz optimal auf KI-Datenströme abstimmen.

3. Setzen Sie überall einheitliche Verschlüsselungs- und Zugriffsrichtlinien durch. Verhindern Sie, dass Sicherheitsregeln in verschiedenen Umgebungen voneinander abweichen.

• Training: Sensible Datensätze bleiben geschützt, unabhängig davon, wo die Rechenprozesse ausgeführt werden.
• Feinabstimmung: Entwicklungs-, Test- und Produktionsumgebungen verhalten sich aus Richtliniensicht gleich.
• RAG: Proprietäre Dokumente und Einbettungen bleiben bei der Übertragung zwischen den Ebenen verschlüsselt.

Eine zentralisierte Durchsetzung reduziert Risiken und den betrieblichen Aufwand.

Wie F5 BIG-IP helfen kann: Es bietet eine zentrale Kontrollstelle für Verschlüsselungs- und Zugriffsrichtlinien über verschiedene Umgebungen hinweg.

4. Lagern Sie repetitive Infrastrukturarbeiten nach Möglichkeit aus. Verschwenden Sie keine CPU-Zyklen für Aufgaben, die nicht zu besseren KI-Ergebnissen beitragen.

• Training: Hostressourcen werden freigegeben, um die Vorverarbeitung und Modellausführung zu unterstützen.
• Feinabstimmung: Die Durchlaufzeit verkürzt sich, wenn viele Aufträge parallel ausgeführt werden.
• RAG: Aufnahme und Abruf bleiben auch bei verschlüsseltem Datenverkehr reaktionsschnell.

Infrastrukturarbeiten sind notwendig, sollten aber nicht mit KI-Workloads um Ressourcen konkurrieren.

Wie F5 BIG-IP helfen kann: Es unterstützt Architekturen, bei denen die Verarbeitung des Datenverkehrs und die Verschlüsselung effizient außerhalb der KI-Hosts erfolgen.

5. Entkoppeln Sie stabile Client-Endpunkte von sich ändernden Backends. Setzen Sie KI-Pipelines nicht den Änderungen der Infrastruktur aus.

• Training: Aufträge werden ohne Unterbrechung fortgesetzt, während Speicherknoten skaliert oder ersetzt werden.
• Feinabstimmung: Die Iteration wird durch Wartungsarbeiten am Backend nicht beeinträchtigt.
• RAG: Die Endpunkte für den Abruf bleiben bei Failover-Ereignissen stabil.

Diese Trennung ist für die Ausfallsicherheit von entscheidender Bedeutung.

So kann F5 BIG-IP helfen: Die Lösung umgeht fehlerhafte oder sich ändernde Backends, ohne Clientverbindungen zu unterbrechen.

6. Betrachten Sie Resilienz als betriebliche Grundvoraussetzung. Warten Sie nicht erst auf Ausfälle, um Schwachstellen aufzudecken.

• Training: Lang laufende Aufträge überstehen geplante Wartungsarbeiten.
• Feinabstimmung: Updates können eingeführt werden, ohne laufende Experimente zu unterbrechen.
• RAG: Durchgängige Verfügbarkeit unterstützt Echtzeitanfragen.

Resilienz sollte die Regel sein, nicht die Ausnahme.

So kann F5 BIG-IP helfen: Es ermöglicht eine unterbrechungsfreie Wartung und ein kontrolliertes Failover für Datenpfade.

7. Priorisieren Sie bei hoher Auslastung kritische KI-Datenströme. Verhindern Sie, dass Hintergrunddatenverkehr aktiven Workloads Ressourcen entzieht.

• Training: Aktive Trainingsläufe bleiben auch während Replikations- oder Synchronisierungsaufträgen leistungsfähig.
• Feinabstimmung: Iterative Pipelines werden auch zu Spitzenzeiten termingerecht abgeschlossen.
• RAG: Der Abfrage- und Abrufdatenverkehr bleibt reaktionsschnell.

Nicht jeder Datenverkehr ist gleich wichtig.

Wie F5 BIG-IP helfen kann: Es dient als Richtlinieninstanz, um den Datenverkehr entsprechend der jeweiligen Absicht zu steuern und zu priorisieren.

8. Optimieren Sie nicht nur auf Leistung, sondern auch auf Klarheit und Bedienbarkeit. Bauen Sie keinen KI-Stack, den nur Spezialisten betreiben können.

• Training: Die Fehlerbehebung geht schneller, wenn Aufträge langsamer werden oder fehlschlagen.
• Feinabstimmung: Die Iterationen werden schneller, weil die Teams den Datenfluss verstehen.
• RAG: Mit zunehmender Skalierung der Systeme lassen sich die Zuständigkeiten klarer voneinander trennen.

Die am besten skalierbaren Systeme sind diejenigen, die Teams verstehen, betreiben und weiterentwickeln können.

Wie F5 BIG-IP helfen kann: Es bietet eine klare, einheitliche Steuerungsebene für den KI-Datenverkehr.

Wann die Skalierung der KI-Infrastruktur am besten funktioniert

KI-Infrastruktur lässt sich am besten skalieren, wenn der Datenzugriff stabil und die Sicherheit konsistent ist und Änderungen an der Infrastruktur von der Bereitstellungsschicht aufgefangen werden, statt Modelle und Pipelines damit zu belasten.

Weitere Informationen zu unseren Lösungen für die KI-Datenbereitstellung finden Sie auf unserer Webseite zu Lösungen für KI-Datenbereitstellung und -infrastruktur .

Der KI-Fokus von F5 geht über die Datenbereitstellung hinaus. Erfahren Sie, wie F5 KI-Anwendungen überall schützt und bereitstellt.

Lesen Sie auch die anderen Blogbeiträge aus unserer Reihe zur KI-Datenbereitstellung:

Die KI-Datenpipeline mit F5 und S3-kompatiblem Speicher versorgen

KI optimieren durch die Beseitigung von Engpässen in modernen Workloads

KI-Datenpipelines von der Aufnahme bis zur Bereitstellung nachverfolgen

Warum KI-Speicher einen neuen Ansatz für den Lastenausgleich erfordert

KI-Anwendungen in großem Maßstab bereitstellen: Die Rolle von ADCs

Sichern Sie Ihre KI-Datenpipeline, ohne sie auszubremsen

Über den Autor

Mark MengerLösungsarchitekt | F5

Mark Menger ist Solutions Architect bei F5 und auf Technologiepartnerschaften in den Bereichen KI und Sicherheit spezialisiert. Er leitet die Entwicklung der KI-Referenzarchitektur von F5 und treibt damit sichere, skalierbare KI-Lösungen voran. Dank seiner Erfahrung als Global Solutions Architect und Solutions Engineer wirkte Mark an der Secure Cloud Architecture von F5 mit und war an der gemeinsamen Entwicklung der Distributed Four-Tiered Architecture beteiligt. Als Mitautor von „Solving IT Complexity“ verfügt er über umfassende Expertise bei der Bewältigung von IT-Herausforderungen. Zuvor war er als Anwendungsentwickler und Enterprise Architect tätig, wobei sein Schwerpunkt auf modernen Anwendungen, Automatisierung und einer schnelleren Wertschöpfung aus KI-Investitionen lag.

Weitere Blogbeiträge von Mark Menger