Unternehmen möchten neue Apps und Workflows auf Basis künstlicher Intelligenz entwickeln. Doch deren erfolgreicher Betrieb kann schwierig sein. Mehrere KI-Frameworks und App-Umgebungen schaffen Komplexität für Entwickler und Sicherheitsteams. Sie benötigen eine Lösung, die den Aufbau, die Ausführung und Sicherung schneller Inferenzen vereinfacht.
Das OpenVINO™-Toolkit von Intel ist ein Open-Source-Toolkit, das die KI-Inferenz beschleunigt und gleichzeitig einen geringeren Platzbedarf und einen Ansatz zum einmaligen Schreiben und Überall-Einsetzen bietet. Es hilft Entwicklern, skalierbare und effiziente KI-Lösungen mit relativ wenigen Codezeilen zu erstellen. Entwickler können KI-Modelle verwenden, die mit gängigen Frameworks wie TensorFlow, PyTorch, ONNX und anderen trainiert wurden. Mit OpenVINO konvertieren Entwickler zunächst Modelle und können diese für schnellere Reaktionen weiter optimieren und komprimieren. Jetzt kann das KI-Modell bereitgestellt werden, indem die OpenVINO-Laufzeit in die Anwendung eingebettet wird, um sie KI-fähig zu machen. Entwickler können ihre KI-gestützte Anwendung über einen leichten Container in einem Rechenzentrum, in der Cloud oder am Rand auf einer Vielzahl von Hardwarearchitekturen bereitstellen.
Ein Entwickler möchte das Modell möglicherweise nicht mit der Anwendung hosten oder in die Anwendung einbetten. Das Modell der Anwendung muss möglicherweise von Zeit zu Zeit aktualisiert werden und die Anwendung muss möglicherweise mehrere Modelle ausführen, um die von der Anwendung bereitgestellten Funktionen bereitzustellen. OpenVINO bietet eine Lösung mit dem OpenVINO-Modellserver, einem softwaredefinierten Hochleistungssystem zum Bereitstellen von Modellen in einer Client-Server-Architektur. Zu den Vorteilen des OpenVINO-Modellservers gehören:
OpenVINO vereinfacht die Optimierung, Bereitstellung und Skalierung von KI-Modellen, für den produktiven Einsatz benötigen sie jedoch auch Sicherheit. F5 NGINX Plus fungiert als Reverse-Proxy und bietet Verkehrsmanagement und Schutz für KI-Modellserver. Mit Hochverfügbarkeitskonfigurationen und aktiven Integritätsprüfungen kann NGINX Plus sicherstellen, dass Anfragen von Apps, Workflows oder Benutzern einen betriebsbereiten OpenVINO-Modellserver erreichen. Darüber hinaus ermöglicht es die Verwendung von HTTPS- und mTLS-Zertifikaten, um die Kommunikation zwischen der Benutzeranwendung und dem Modellserver zu verschlüsseln, ohne die Leistung zu beeinträchtigen.
Wenn Sie NGINX Plus auf demselben Hostserver oder derselben virtuellen Maschine einsetzen, filtert es den eingehenden Datenverkehr und überwacht die Gesundheit der Upstream-Container. Darüber hinaus nutzen Sie damit Content-Caching, um die Performance zu steigern und den Modellserver zu entlasten. Diese Kombination sorgt für effektive Sicherheit, doch auf einer einzelnen CPU müssen NGINX Plus und die OpenVINO-Modellserver oft um Ressourcen konkurrieren. Das kann zu Verlangsamungen oder Leistungseinbußen führen.
Da Infrastrukturservices wie virtuelles Switching, Sicherheit und Speicher erhebliche CPU-Ressourcen beanspruchen, hat Intel die Intel® Infrastructure Processing Unit (Intel® IPU) entwickelt, die CPU-Kerne freisetzt, um die Anwendungsleistung zu verbessern. Intel IPUs sind programmierbare Netzwerkgeräte, die Systemressourcen intelligent verwalten, indem sie Netzwerk- und Speicherinfrastrukturfunktionen im Rechenzentrum sicher beschleunigen. Sie sind mit dem Dell PowerEdge R760 Server mit Intel® Xeon® Prozessoren kompatibel und bieten für rechenintensive Workloads sowohl Leistung als auch Flexibilität. Die Integration mit dem integrierten Management-Controller Dell iDRAC sorgt für eine geschlossene thermische Steuerung der IPU.
Mit einer Intel IPU und einem Dell PowerEdge R760 Rack-Server erhöhen Sie die Leistung von OpenVINO-Modellservern und F5 NGINX Plus spürbar. Dank der Hardwarebeschleuniger der Intel IPU profitieren Sie bei NGINX Plus von mehr Leistung und Skalierbarkeit. So erhalten Sie außerdem mehr CPU-Ressourcen für Ihre KI-Modellserver.
Durch die Integration einer Intel IPU mit NGINX Plus entsteht eine Sicherheitslücke zwischen NGINX Plus und den OpenVINO-Modellservern. Diese zusätzliche Sicherheitsebene schützt vor potenziellen gemeinsamen Schwachstellen und trägt zum Schutz vertraulicher Daten im KI-Modell bei.
Die kombinierte Lösung von F5, Intel und Dell erleichtert die Unterstützung von KI-Inferenz am Edge. Mit NGINX Plus auf der Intel IPU sind die Reaktionen bei der Unterstützung von Edge-Anwendungen wie Videoanalyse und IoT schneller und zuverlässiger.
Die Lösung funktioniert auch für Content-Delivery-Netzwerke mit optimiertem Caching und Content-Delivery und bietet Unterstützung für die verteilte Bereitstellung von Microservices, die umgebungsübergreifende Zuverlässigkeit erfordern.
Mit einer kombinierten Hardware- und Softwarelösung können Sie leistungsstarke KI-Inferenzen überall sicher und konsistent nutzen. Stellen Sie KI-Inferenz problemlos in Rechenzentren, Clouds oder an Edge-Sites bereit, während Sie gleichzeitig Verfügbarkeit und Leistung aufrechterhalten, um Benutzer und KI-gestützte Apps zu unterstützen.
Erfahren Sie mehr über die Partnerschaft zwischen F5 und Intel unter f5.com/intel .