Betreiben Sie Ihre KI-Fabrik auf einer Infrastruktur, die Sie selbst kontrollieren

Eine Enterprise AI Factory ist eine KI-Infrastruktur, die ein Unternehmen auf selbst kontrollierten GPUs in eigenen Rechenzentren, in Colocation-Einrichtungen oder auf dedizierten Cloud-Ressourcen betreibt, um Modelle für eigene Anwendungen und Agenten zu trainieren, feinabzustimmen und bereitzustellen. Unternehmen bauen eine solche Infrastruktur auf, um sensible Daten im Haus zu behalten, regulatorische Anforderungen zu erfüllen, Kosten bei wachsender Nutzung im Griff zu behalten oder Modelle individuell anzupassen. So wird KI zu einer vom Unternehmen betriebenen Plattform, für die dieselben Anforderungen an Bereitstellung und Sicherheit gelten wie für jedes andere Produktivsystem.

Damit GPUs nicht auf Daten warten müssen, behandeln Sie den Speicherzugriff wie jeden anderen produktiven Datenverkehr. Schalten Sie einen Load Balancer vor die S3-Endpunkte, damit Jobs auf mehrere Speicherknoten verteilt werden, statt einen einzelnen zu überlasten. So können Sie beim Ausfall eines Knotens oder Standorts auf andere Ressourcen umschalten, ohne den Job neu starten zu müssen, und den Datenverkehr richtlinienbasiert über Standorte und Clouds hinweg steuern. Schützen Sie außerdem die S3-APIs, denn der Datenpfad ist zugleich ein potenzieller Angriffsweg.

Um GPUs unternehmensweit gemeinsam zu nutzen, fassen Sie diese zu einem Pool zusammen und weisen Sie jedem Team einen abgegrenzten Bereich und einen Anteil der Ressourcen zu. Kubernetes-Namespaces und -Kontingente regeln die Ressourcenzuteilung, die Isolation auf Netzwerkebene trennt den Datenverkehr der Teams voneinander, und tokenbasierte Limits pro Team verhindern, dass die Workloads einer Gruppe die anderen verdrängen. Anschließend verteilt ein inferenzbasiertes Routing die Anfragen entsprechend ihrem Verarbeitungsaufwand, sodass die gemeinsam genutzten GPUs gleichmäßig ausgelastet werden.

Um LLMs sicher vor Ort zu betreiben, behandeln Sie das Modell als eine Komponente einer Produktionspipeline. Trennen Sie Teams und Umgebungen im Netzwerk voneinander, kontrollieren Sie, auf welche Ressourcen außerhalb des Clusters Modelle und Agenten zugreifen können, prüfen Sie Prompts und Antworten zur Laufzeit auf Prompt-Injection und Datenlecks, unterziehen Sie Modelle und Agenten vor der Freigabe gezielten Angriffstests und schützen Sie die APIs, über die sie bereitgestellt werden. Protokollieren Sie anschließend, welche Daten die jeweiligen Grenzen überschritten haben.

Nein, für eine KI-Fabrik im Unternehmen benötigen Sie keine DPUs. BIG-IP Next for Kubernetes läuft auf Standard-Host-CPUs und Kubernetes – der Ausgangsbasis für die meisten KI-Plattformen in Unternehmen. Die Datenbereitstellung von F5 läuft auf BIG-IP-Software, VELOS und rSeries. NVIDIA BlueField DPUs verlagern den Netzwerkdatenpfad vom Host und sorgen zusätzlich für eine Trennung auf Hardwareebene, was sich mit zunehmender Größe der Infrastruktur lohnt.