Verbesserte Sicherheit für KI-Inferenz mit Intel OpenVINO: Nutzung von Intel IPU, F5 NGINX Plus und Red Hat OpenShift

Paul PindellLeitender Lösungsarchitekt | F5

Stellen Sie sich eine Welt vor, in der KI-Inferenzaufgaben nicht nur schneller, sondern auch sicherer ausgeführt werden und Einrichtung sowie Wartung nur minimalen Aufwand erfordern. Klingt zu schön, um wahr zu sein? Die neueste auf Intel OpenVINO basierende Lösung macht dies möglich: Sie integriert Intels E2100 Infrastructure Processing Unit (IPU) „Dayton Peak“, F5 NGINX Plus und Red Hat OpenShift. Diese wegweisende Konfiguration richtet sich an Entwickler und Unternehmen, die KI-Workloads sicher und effizient skalieren und zugleich Installation und Betrieb vereinfachen möchten.

Lassen Sie uns im Detail betrachten, wie alle Teile dieses Puzzles ineinandergreifen und warum diese Integration die Sicherheit und Skalierbarkeit von KI-Inferenz grundlegend verändert.

1. Auslagerung kritischer Aufgaben der KI-Infrastruktur auf die Intel IPU

Im Kern ist dieses Setup darauf ausgelegt, die KI-Inferenz zu beschleunigen, indem kritische Infrastrukturaufgaben auf die Intel IPU ausgelagert werden. Dadurch kann das Hostsystem, auf dem der Intel OpenVINO Inferenzserver ausgeführt wird, seine Ressourcen auf das Wesentliche konzentrieren: schnelle und präzise Inferenzergebnisse. In Kombination mit F5 NGINX Plus sowie Red Hat Enterprise Linux, OpenShift und MicroShift erreicht das System ein einzigartiges Gleichgewicht aus Leistung, Skalierbarkeit und Sicherheit.

Der grundlegende Ablauf sieht folgendermaßen aus: Verschlüsselter Datenverkehr fließt vom KI-Client zu NGINX Plus, das direkt auf der Intel IPU bereitgestellt ist. NGINX Plus fungiert als Traffic-Proxy, entschlüsselt die Daten und leitet sie sicher über den PCIe-Bus an die Intel OpenVINO-Inferenzserver weiter, die auf dem Dell R760-System gehostet werden. Die Ergebnisse werden anschließend über NGINX Plus an den KI-Client zurückgesendet.

2. Wesentliche architektonische Vorteile des Betriebs von Infrastruktur auf der Intel IPU

Der Workflow selbst ist bereits überzeugend, doch die architektonischen Vorteile bieten einen zusätzlichen Mehrwert. Durch die Verlagerung von Infrastrukturaufgaben auf die IPU ermöglicht die Lösung sowohl Leistungsvorteile als auch eine klare Aufgabentrennung für Administratoren.

Ein entscheidender Vorteil der Bereitstellung von NGINX Plus auf der Intel IPU besteht darin, dass Infrastrukturaufgaben von der CPU des Hostsystems ausgelagert werden. Aufgaben wie Traffic-Routing, Entschlüsselung und Zugriffskontrolle, die sehr ressourcenintensiv sein können, werden vollständig auf der IPU ausgeführt. Dadurch stehen der Host-CPU deutlich mehr Rechenzyklen für anwendungsspezifische Workloads zur Verfügung, etwa für die Ausführung zusätzlicher Intel OpenVINO-Inferenzmodelle oder die Verarbeitung ressourcenintensiver KI-Prozesse.

In realen Anwendungsszenarien bedeutet dies eine bessere Auslastung Ihrer kostspieligen, leistungsstarken Serverhardware. Statt durch im Hintergrund ausgeführte Infrastrukturaufgaben belastet zu werden, kann die Host-CPU ihre volle Kapazität für die Workloads einsetzen, die für Sie am wichtigsten sind.

Ein weiterer einzigartiger Vorteil der Lösung ist die Trennung von Infrastrukturdiensten und Anwendungs-Workloads. Indem alle Infrastrukturaufgaben – wie NGINX Plus, Netzwerkverwaltung und Zugriffskontrolle – auf der Intel IPU ausgeführt werden, während der Intel OpenVINO Inferenzserver auf dem Host verbleibt, haben wir eine klare Trennlinie zwischen den Zuständigkeiten der Steuerungsebene geschaffen.

Der Intel OpenVINO-Anwendungsadministrator ist für die Verwaltung von Inferenz-Workloads, die Bereitstellung und Skalierung von KI-Modellen sowie die Optimierung der Leistung auf Anwendungsebene verantwortlich. Der Infrastrukturadministrator hingegen überwacht die Intel-IPU-Umgebung, verwaltet das Routing, setzt die Zugriffskontrolle (über FXP-Regeln) durch und sorgt durch die Konfiguration der NGINX Plus-Instanz dafür, dass die Infrastrukturdienste sicher und effizient ausgeführt werden.

Diese Aufgabentrennung beseitigt Unklarheiten, stärkt die Zusammenarbeit innerhalb der Organisation und stellt sicher, dass sich jeder Administrator voll und ganz auf sein jeweiliges Fachgebiet konzentrieren kann.

Zusammengenommen machen diese Vorteile die Lösung nicht nur praxistauglich, sondern ermöglichen auch eine effiziente Skalierung von KI-Workflows in Unternehmen bei gleichzeitig optimaler Ressourcennutzung und höchster Sicherheit.

3. Red Hat OpenShift und MicroShift: Automatisierung und Vereinfachung vorantreiben

Einer der herausragenden Aspekte dieses Systems ist die Nutzung von Red Hat MicroShift und OpenShift DPU Operators, durch die Konfiguration und Skalierung nahezu mühelos werden. Ehrlich gesagt wirkt diese Art der Automatisierung wie Magie, wenn man sie in Aktion erlebt. Schauen wir uns das genauer an:

Es gibt zwei Cluster. Zum einen gibt es den OpenShift-Cluster, der auf dem Hostsystem ausgeführt wird. Konkret handelt es sich dabei um einen OpenShift-Worker-Knoten, der auf dem Dell R760 läuft. Der zweite Cluster ist ein MicroShift-Cluster. Er wird auf den ARM-Kernen der Intel IPU bereitgestellt. Diese schlanke Version von OpenShift bietet die Flexibilität von Containern, ohne den Ressourcenbedarf einer vollständigen Kubernetes-Umgebung.

Diese Cluster arbeiten über DPU-Operatoren zusammen, die im Hintergrund die Hauptarbeit übernehmen. Sie kommunizieren miteinander und tauschen Daten über aktive Pods und Netzwerke aus. Diese Verbindung ist besonders wichtig für die dynamische Verwaltung von Sicherheits- und Datenverkehrsregeln.

Und jetzt kommt der Teil, der Entwicklern das Leben wirklich erleichtert: die dynamische Regelerstellung. Bisher erforderte das Einrichten von FXP-Regeln (zur Verwaltung der Zugriffskontrolle für PCIe-Datenverkehr) manuellen Aufwand und Kenntnisse in der P4-Programmierung. Jetzt müssen Sie nur noch Ihre Workloads bereitstellen – alles Weitere erledigen die Operatoren automatisch:

Der Operator erstellt dynamisch neue FXP-Regeln, sobald entsprechend gekennzeichnete OpenVINO-Inferenz-Pods bereitgestellt werden. Diese FXP-Regeln ermöglichen die Kommunikation über den PCIe-Bus. Wenn Workloads hoch- oder herunterskaliert werden, passt das System diese Zugriffsregeln automatisch an, sodass bei der Konfiguration kein Rätselraten mehr nötig ist.

Dieser Automatisierungsgrad ermöglicht es allen – von Entwicklern bis hin zu Systemadministratoren –, sich auf KI-Workloads zu konzentrieren, ohne sich in den Details der Infrastrukturkonfiguration zu verlieren.

4. Der KI-Inferenz-Workflow in Aktion

Sehen wir uns nun genauer an, wie dieses gesamte System bei der KI-Inferenz funktioniert. Nehmen wir als Beispiel die Erkennung von Tierarten auf Bildern mithilfe des Intel OpenVINO-Toolkits für die Bereitstellung von Deep-Learning-Modellen. So sieht der Workflow Schritt für Schritt aus:

Zunächst werden verschlüsselte Bilddaten von einem KI-Client über einen GRPCS-API-Aufruf gesendet. NGINX Plus läuft auf der Intel IPU, entschlüsselt die Daten und fungiert als Traffic-Proxy. Anschließend wird dieser Datenverkehr sicher über den PCIe-Bus an die auf dem Dell R760 gehosteten Intel OpenVINO-Inferenzserver weitergeleitet. Die Intel OpenVINO-Inferenzserver verarbeiten die Bilder mithilfe des ResNet-KI-Modells, um die Tierart auf jedem Bild zu bestimmen. Das Ergebnis könnte beispielsweise lauten: „Das ist ein Golden Retriever“ oder „Das ist eine getigerte Katze.“ Die Ergebnisse werden über denselben Pfad zurückgesendet – über NGINX Plus und weiter an den Client.

Das System kann so eingerichtet werden, dass mehrere KI-Clients gleichzeitig Bildstapel verarbeiten können. Selbst wenn mehrere Clients fortlaufend Inferenzanfragen stellen, bleibt das System sicher, reibungslos und reaktionsschnell.

5. Erhöhte Sicherheit durch intelligente Zugriffskontrolle

Kommen wir zu einem der wichtigsten Vorteile dieses Systems: der Sicherheit. Die Intel IPU verarbeitet nicht nur den Datenverkehr, sondern schützt aktiv die Kommunikation zwischen der Infrastruktur und den auf dem Host ausgeführten Inferenz-Workloads.

So funktioniert es: Die IPU steuert den Datenverkehr über die PCIe-Schnittstelle mithilfe von FXP-Regeln. Nur Datenverkehr, der durch diese dynamisch generierten Regeln autorisiert wurde (die von den DPU-Operatoren verwaltet werden), darf passieren. Dies gewährleistet eine sichere Kommunikation und verhindert gleichzeitig unbefugte Zugriffe auf das Hostsystem. Diese mehrschichtige Sicherheitsarchitektur trägt dazu bei, Risiken zu minimieren – insbesondere für Unternehmen, die sensible Daten über KI-Pipelines verarbeiten.

6. Warum sich diese Lösung auszeichnet

Für mich liegt das Besondere an dieser Lösung in der perfekten Kombination aus Leistung, Automatisierung und Sicherheit. Indem die Infrastrukturverwaltung auf der IPU isoliert wird, während die Inferenz-Workloads auf dem Hostsystem ausgeführt werden, haben Intel, Red Hat und F5 eine ebenso effiziente wie sichere Umgebung geschaffen.

Das macht diese Konfiguration zu einem echten Wendepunkt:

• Optimierte Einrichtung:Vergessen Sie manuelle Konfigurationen. Dank DPU-Operatoren und dynamischer Regelerstellung ist das System nahezu sofort einsatzbereit.
• Dynamische Skalierung:Unabhängig davon, ob Sie einen oder 20 Inferenz-Pods betreiben, passen sich die Kommunikations- und Sicherheitsregeln automatisch an.
• Erhöhte Sicherheit: Die klare Trennung zwischen Infrastruktur und Workloads schafft in Verbindung mit der Zugriffskontrolle auf dem PCIe-Bus eine robuste Sicherheitsbarriere.
• Optimierte Ressourcennutzung: Durch die Auslagerung von Infrastrukturaufgaben auf die IPU wird die Host-CPU für Rechenaufgaben mit hoher Priorität entlastet.
• Klare Aufgabentrennung: Administratoren können sich auf ihre jeweiligen Bereiche – Anwendungen oder Infrastruktur – konzentrieren, ohne sich gegenseitig in die Quere zu kommen.

Ein Quantensprung für KI-Inferenz

Diese auf Intel OpenVINO basierende Lösung führt Hardware und Software auf mühelose Weise zusammen. Die E2100 IPU von Intel, Red Hat OpenShift und F5 NGINX Plus zeigen auf erstklassige Weise, wie sich komplexe KI-Inferenz-Pipelines vereinfachen und gleichzeitig Sicherheit und Skalierbarkeit verbessern lassen.

Ganz gleich, ob Sie Entwickler, Infrastrukturarchitekt oder Entscheidungsträger in einem Unternehmen sind: Diese Lösung bietet eine praxisnahe Blaupause für die Verwaltung von KI-Workloads in einer modernen, containerisierten Umgebung. Wenn dies Ihr Interesse geweckt hat, wenden Sie sich gerne an Intel, F5 oder Red Hat, um herauszufinden, wie sich diese Konfiguration in Ihren Workflow integrieren lässt.

Es ist spannend zu sehen, wie sich diese Technologie weiterentwickelt – und ich für meinen Teil kann es kaum erwarten, die nächsten Innovationen zu erleben. Wenn Sie mehr erfahren möchten, sehen Sie sich mein Demovideo auf LinkedIn an.

Über den Autor

Paul PindellLeitender Lösungsarchitekt | F5

Paul Pindell ist Principal Architect bei F5. Dort ist er im Bereich Technology Alliances tätig und verantwortet technische Partnerschaften im gesamten Produktportfolio von F5. Seit 2019 spielt er zudem eine zentrale Rolle bei Initiativen zur Unternehmensstrategie und war unter anderem an der Einführung des ersten Innovationsprojekts von F5 beteiligt. Paul leitete das Tiger-Team für die KI-Strategie von F5, das sich mit der Frage befasste, wie die bestehenden Produkte von F5 zur sicheren Bereitstellung von KI-Anwendungen beitragen können. Später wirkte er an der Entwicklung der KI-Referenzarchitektur von F5 mit, die die zentralen Bausteine, Herausforderungen, Risiken und Partnerlösungen beschreibt, die für die Bereitstellung und Absicherung von KI-Anwendungen erforderlich sind. Paul hält regelmäßig Keynotes und Fachvorträge auf Branchenveranstaltungen, darunter der OPI Summit, der OCP Global Summit, Intel InnovatiON, der Open Source Summit, die Red Hat Tech Exchange sowie mehrere VMworld-Konferenzen in den USA und der EMEA-Region. Darüber hinaus ist er Gründer und Maintainer von Open-Source-Projekten, Vorsitzender des Outreach Committee des Open Programmable Infrastructure Project und war zuvor für den Betrieb der Antivirus Response Data Centers und der Testlabore für Sicherheitssoftware von Symantec verantwortlich.

Weitere Blogbeiträge von Paul Pindell