Unternehmen möchten neue KI-gestützte Anwendungen und Workflows entwickeln. Ihr erfolgreicher Betrieb kann jedoch eine Herausforderung darstellen. Verschiedene KI-Frameworks und Anwendungsumgebungen erhöhen die Komplexität für Entwicklungs- und Sicherheitsteams. Sie benötigen eine Lösung, mit der sich schnelle Inferenzprozesse einfacher entwickeln, ausführen und absichern lassen.
KI-Entwicklung und -Sicherheit vereinfachen
Das OpenVINO™ Toolkit von Intel ist ein Open-Source-Toolkit, das die KI-Inferenz beschleunigt und zugleich einen geringeren Ressourcenbedarf sowie einen Ansatz nach dem Prinzip „Einmal entwickeln, überall bereitstellen“ bietet. Es unterstützt Entwickler dabei, mit vergleichsweise wenigen Codezeilen skalierbare und effiziente KI-Lösungen zu erstellen. Entwickler können KI-Modelle verwenden, die mit gängigen Frameworks wie TensorFlow, PyTorch, ONNX und weiteren trainiert wurden. Mit OpenVINO konvertieren Entwickler die Modelle zunächst und können sie anschließend weiter optimieren und komprimieren, um schnellere Reaktionszeiten zu erzielen. Danach kann das KI-Modell bereitgestellt werden, indem die OpenVINO-Laufzeitumgebung in die Anwendung eingebettet und diese so KI-fähig gemacht wird. Entwickler können ihre KI-gestützte Anwendung über einen schlanken Container in einem Rechenzentrum, in der Cloud oder am Edge auf verschiedenen Hardwarearchitekturen bereitstellen.
Möglicherweise möchte ein Entwickler das Modell weder zusammen mit der Anwendung hosten noch in die Anwendung einbetten. Das Modell der Anwendung muss unter Umständen von Zeit zu Zeit aktualisiert werden, und möglicherweise muss die Anwendung mehrere Modelle ausführen, um die von ihr bereitgestellten Funktionen zu ermöglichen. OpenVINO bietet hierfür mit dem OpenVINO Model Server eine Lösung: ein softwaredefiniertes Hochleistungssystem zur Bereitstellung von Modellen in einer Client-Server-Architektur. Zu den Vorteilen des OpenVINO Model Server gehören:
- Einfache Bereitstellung: Dank der containerisierten Architektur mit Docker lassen sich Modelle mit OpenVINO Model Server einfacher und skalierbarer bereitstellen. Die komplexe Konfiguration von Hardware und Abhängigkeiten wird dabei abstrahiert.
- Skalierbarkeit: OpenVINO Model Server kann in einer Cluster-Umgebung bereitgestellt werden, um hohe Inferenzlasten zu bewältigen und bei Bedarf horizontal zu skalieren. Diese Skalierbarkeit gewährleistet, dass die Inferenzleistung auch bei hoher Auslastung konstant bleibt.
- Remote-Inferenz: Der OpenVINO Model Server unterstützt Remote-Inferenz und ermöglicht es Clients, Inferenzen mit Modellen durchzuführen, die auf entfernten Servern bereitgestellt sind. Diese Funktion ist für verteilte Anwendungen oder Szenarien nützlich, in denen die Inferenz auf leistungsstarken Servern durchgeführt werden muss, während das Clientgerät nur über begrenzte Ressourcen verfügt.
- Überwachung und Verwaltung: Der OpenVINO Model Server bietet Funktionen zur Überwachung und Verwaltung, mit denen Administratoren die Inferenzleistung und Ressourcenauslastung verfolgen sowie bereitgestellte Modelle effektiv verwalten können.
OpenVINO vereinfacht die Optimierung, Bereitstellung und Skalierung von KI-Modellen. Für den Produktivbetrieb müssen diese jedoch auch abgesichert werden. F5 NGINX Plus fungiert als Reverse-Proxy und bietet Traffic-Management sowie Schutz für KI-Modellserver. Mit Hochverfügbarkeitskonfigurationen und aktiven Integritätsprüfungen kann NGINX Plus sicherstellen, dass Anfragen von Anwendungen, Workflows oder Benutzern einen betriebsbereiten OpenVINO-Modellserver erreichen. Zudem ermöglicht es die Verwendung von HTTPS- und mTLS-Zertifikaten, um die Kommunikation zwischen der Benutzeranwendung und dem Modellserver ohne Leistungseinbußen zu verschlüsseln.
Bei der Bereitstellung auf demselben Hostserver oder derselben virtuellen Maschine filtert NGINX Plus den eingehenden Datenverkehr und überwacht den Zustand der vorgeschalteten Container. Zudem bietet es Content-Caching, um die Leistung zu steigern und den Modellserver zu entlasten. Diese Kombination sorgt für effiziente Sicherheit. Werden NGINX Plus und die OpenVINO-Modellserver jedoch auf einer einzigen CPU bereitgestellt, müssen sie unter Umständen um Ressourcen konkurrieren. Dies kann zu Verlangsamungen oder Leistungseinbußen führen.
Leistung von KI-Modellen beschleunigen
Da Infrastrukturdienste wie virtuelle Switches, Sicherheits- und Speicherfunktionen eine erhebliche Anzahl an CPU-Zyklen beanspruchen können, hat Intel die Intel® Infrastructure Processing Unit (Intel® IPU) entwickelt. Sie entlastet die CPU-Kerne und verbessert so die Anwendungsleistung. Intel IPUs sind programmierbare Netzwerkgeräte, die Ressourcen auf Systemebene intelligent verwalten, indem sie Netzwerk- und Speicherinfrastrukturfunktionen in einem Rechenzentrum sicher beschleunigen. Sie sind mit dem Dell PowerEdge R760 Server mit Intel® Xeon® Prozessoren kompatibel und bieten Leistung und Vielseitigkeit für rechenintensive Workloads. Die Integration mit dem integrierten Dell iDRAC Management-Controller ermöglicht eine thermische Regelung der IPU im geschlossenen Regelkreis.
Der Einsatz einer Intel IPU mit einem Dell PowerEdge R760-Rackserver kann die Leistung sowohl von OpenVINO-Modellservern als auch von F5 NGINX Plus steigern. Der Betrieb von NGINX Plus auf der Intel IPU bietet dank der Hardwarebeschleuniger der Intel IPU hohe Leistung und Skalierbarkeit. Durch diese Kombination bleiben zudem CPU-Ressourcen für die KI-Modellserver verfügbar.
Durch die Integration einer Intel IPU in NGINX Plus entsteht eine Sicherheitsbarriere zwischen NGINX Plus und den OpenVINO-Modellservern. Diese zusätzliche Sicherheitsebene schützt vor potenziellen gemeinsamen Schwachstellen und trägt dazu bei, sensible Daten im KI-Modell abzusichern.
KI am Netzwerkrand vorantreiben
Die kombinierte Lösung von F5, Intel und Dell erleichtert die Unterstützung von KI-Inferenz am Edge. Mit NGINX Plus auf der Intel IPU lassen sich Edge-Anwendungen wie Videoanalysen und IoT mit schnelleren und zuverlässigeren Reaktionszeiten unterstützen.
Die Lösung eignet sich auch für Content Delivery Networks mit optimiertem Caching und optimierter Inhaltsbereitstellung und unterstützt zudem verteilte Microservices-Bereitstellungen, die eine zuverlässige Funktion über verschiedene Umgebungen hinweg erfordern.
KI-Sicherheit und -Performance mit F5, Intel und Dell beschleunigen
Ermöglichen Sie mit einer kombinierten Hardware- und Softwarelösung überall eine sichere, konsistente und leistungsstarke KI-Inferenz. Stellen Sie KI-Inferenz mühelos in Rechenzentren, Clouds oder Edge-Standorten bereit und gewährleisten Sie dabei die Verfügbarkeit und Leistung für Benutzer und KI-gestützte Anwendungen.
Erfahren Sie mehr über die Partnerschaft zwischen F5 und Intel unter f5.com/intel.
Über den Autor
Kunal Anand leitet als Chief Product Officer die Produktorganisation von F5. Er ist für Produktvision, Strategie und Umsetzung verantwortlich und stellt die Entwicklung wegweisender Lösungen sicher, die kritische Herausforderungen bewältigen und außergewöhnliche Kundenerlebnisse schaffen. In seiner vorherigen Funktion als Chief Technology and AI Officer bestimmte Kunal die Technologie- und KI-Strategie sowie die entsprechende Vision des Unternehmens. Vor seiner Zeit bei F5 hatte Kunal bei Imperva die Doppelfunktion des Chief Technology Officer und Chief Information Security Officer inne. Sein Weg zu Imperva begann 2018 mit der Übernahme von Prevoty, einem 2013 von ihm mitgegründeten Start-up für Anwendungssicherheit. Vor seinem Wechsel zu Prevoty war er Director of Technology bei BBC Worldwide. Kunal verfügt über langjährige Innovations- und umfassende technische Erfahrung und leitete bei Gravity, MySpace und dem NASA Jet Propulsion Lab Teams in den Bereichen Sicherheit, Daten, Technologie und Engineering. Kunal verfügt über mehr als 15 Jahre Erfahrung in den Bereichen KI und maschinelles Lernen – von Modelltraining und dem Einsatz KI-gestützter Algorithmen zur Produktoptimierung bis hin zur Konzeption und Implementierung von KI-Architekturen. Kunal hat einen Bachelor-of-Science-Abschluss in Informatik vom Babson College.
Weitere Blogbeiträge von Kunal AnandÄhnliche Blogbeiträge
Ein umfassender Leitfaden zur Bereitstellung und Sicherheit von KI-Anwendungen
Entdecken Sie optimale Strategien für die Absicherung und Bereitstellung von KI-Anwendungen.
KI zulassen und einführen? Lehren aus der Public Cloud
Die Einführung von KI steht unmittelbar bevor und könnte entscheidend sein, um wettbewerbsfähig zu bleiben. Daher muss die IT-Sicherheit proaktiv handeln und der KI-Einführung schon jetzt einen Schritt voraus sein, um sie auf einen risikogerechten Weg zu lenken.
Stand der Anwendungsstrategie 2022: Zeit für die Modernisierung des Betriebs
Es ist deutlich geworden, dass Unternehmen ihren Fokus erneut auf die Geschäftsfunktionen richten müssen, um die Dynamik ihrer digitalen Transformation aufrechtzuerhalten. Kundenerlebnisse haben zwar weiterhin Priorität, doch auch Geschäftsfunktionen wie Recht, Personalwesen und Finanzen müssen digitalisiert werden. Das bedeutet, dass CIOs das Steuer übernehmen, während sich die digitale Transformation von der Modernisierung von Anwendungen hin zur Modernisierung von Betriebsabläufen verlagert.
F5s Weg zu einer vielseitigen Plattform für Anwendungsanalysen
F5 bietet heute die umfassendsten Anwendungsdienste entlang des gesamten Weges vom Code bis zum Kunden. Künftig werden wir verstärkt auf Anwendungstelemetrie und -analysen setzen, damit unsere Kunden wertvolle Erkenntnisse über ihre Anwendungen, Geschäftsabläufe und Benutzererlebnisse gewinnen können. Beim Ausbau unserer Cloud-Analysefunktionen werden wir ML und KI noch stärker nutzen, um unsere Kunden bei der Verbesserung ihrer Geschäftsdienste zu unterstützen.
Telemetrie: Eine andere Art von Daten
Verwenden wir den Begriff „Telemetrie“ nur, weil er attraktiver klingt als „Daten“? Letztlich sind sowohl Daten als auch Telemetrie strukturierte Informationseinheiten. Es ist kein Verbrechen, die Begriffe synonym zu verwenden. Doch wenn man es genau nimmt, gibt es einen Unterschied. Und dieser Unterschied wird immer wichtiger werden, je weiter Unternehmen in die Datenökonomie vordringen.
MTTR bedeutet nicht „Mean Time to Reboot“
„Schnell scheitern“ lautet heute das Mantra für mehr Geschwindigkeit. Ob in DevOps oder im Geschäftsleben: Wer in einer digitalen Wirtschaft agiert, muss eine möglichst perfekte Verfügbarkeit gewährleisten.