Mit F5, Intel und Dell wird KI-Inferenz einfacher, sicherer und leistungsfähiger

Unternehmen möchten neue Apps und Workflows auf Basis künstlicher Intelligenz entwickeln. Doch deren erfolgreicher Betrieb kann schwierig sein. Mehrere KI-Frameworks und App-Umgebungen schaffen Komplexität für Entwickler und Sicherheitsteams. Sie benötigen eine Lösung, die den Aufbau, die Ausführung und Sicherung schneller Inferenzen vereinfacht.

Das OpenVINO™-Toolkit von Intel ist ein Open-Source-Toolkit, das die KI-Inferenz beschleunigt und gleichzeitig einen geringeren Platzbedarf und einen Ansatz zum einmaligen Schreiben und Überall-Einsetzen bietet. Es hilft Entwicklern, skalierbare und effiziente KI-Lösungen mit relativ wenigen Codezeilen zu erstellen. Entwickler können KI-Modelle verwenden, die mit gängigen Frameworks wie TensorFlow, PyTorch, ONNX und anderen trainiert wurden. Mit OpenVINO konvertieren Entwickler zunächst Modelle und können diese für schnellere Reaktionen weiter optimieren und komprimieren. Jetzt kann das KI-Modell bereitgestellt werden, indem die OpenVINO-Laufzeit in die Anwendung eingebettet wird, um sie KI-fähig zu machen. Entwickler können ihre KI-gestützte Anwendung über einen leichten Container in einem Rechenzentrum, in der Cloud oder am Rand auf einer Vielzahl von Hardwarearchitekturen bereitstellen.

Ein Entwickler möchte das Modell möglicherweise nicht mit der Anwendung hosten oder in die Anwendung einbetten. Das Modell der Anwendung muss möglicherweise von Zeit zu Zeit aktualisiert werden und die Anwendung muss möglicherweise mehrere Modelle ausführen, um die von der Anwendung bereitgestellten Funktionen bereitzustellen. OpenVINO bietet eine Lösung mit dem OpenVINO-Modellserver, einem softwaredefinierten Hochleistungssystem zum Bereitstellen von Modellen in einer Client-Server-Architektur. Zu den Vorteilen des OpenVINO-Modellservers gehören:

1. Einfache Bereitstellung: Dank der containerisierten Architektur mit Docker wird die Bereitstellung von Modellen mit dem OpenVINO-Modellserver einfacher und skalierbarer. Es abstrahiert die Komplexität der Hardwarekonfiguration und -abhängigkeiten.
2. Skalierbarkeit: Der OpenVINO-Modellserver kann in einer Clusterumgebung eingesetzt werden, um hohe Inferenzlasten zu verarbeiten und bei Bedarf horizontal zu skalieren. Diese Skalierbarkeit stellt sicher, dass die Inferenzleistung auch bei hoher Arbeitslast konstant bleibt.
3. Ferninferenz: Der OpenVINO-Modellserver ermöglicht Ihnen Ferninferenz, sodass Sie Modelle auf entfernten Servern direkt ausführen können. Das ist ideal für verteilte Anwendungen oder wenn Sie leistungsstarke Server für die Inferenz benötigen, während Ihr Gerät nur begrenzte Ressourcen hat.
4. Überwachung und Verwaltung: Mit dem OpenVINO-Modellserver können Sie die Inferenzleistung und Ressourcennutzung überwachen und die bereitgestellten Modelle effizient verwalten.

OpenVINO vereinfacht die Optimierung, Bereitstellung und Skalierung von KI-Modellen, für den produktiven Einsatz benötigen sie jedoch auch Sicherheit. F5 NGINX Plus fungiert als Reverse-Proxy und bietet Verkehrsmanagement und Schutz für KI-Modellserver. Mit Hochverfügbarkeitskonfigurationen und aktiven Integritätsprüfungen kann NGINX Plus sicherstellen, dass Anfragen von Apps, Workflows oder Benutzern einen betriebsbereiten OpenVINO-Modellserver erreichen. Darüber hinaus ermöglicht es die Verwendung von HTTPS- und mTLS-Zertifikaten, um die Kommunikation zwischen der Benutzeranwendung und dem Modellserver zu verschlüsseln, ohne die Leistung zu beeinträchtigen.

Wenn Sie NGINX Plus auf demselben Hostserver oder derselben virtuellen Maschine einsetzen, filtert es den eingehenden Datenverkehr und überwacht die Gesundheit der Upstream-Container. Darüber hinaus nutzen Sie damit Content-Caching, um die Performance zu steigern und den Modellserver zu entlasten. Diese Kombination sorgt für effektive Sicherheit, doch auf einer einzelnen CPU müssen NGINX Plus und die OpenVINO-Modellserver oft um Ressourcen konkurrieren. Das kann zu Verlangsamungen oder Leistungseinbußen führen.