Bereitstellung von LLMs im Unternehmen: On-Premise per API

F5 Newsroom Staff

Für sich genommen, ohne Schutzmaßnahmen und ohne zusätzliche KI-Sicherheitsprotokolle, stellt der unternehmensweite Einsatz generativer KI-Modelle, insbesondere großer Sprachmodelle (LLMs), für jede Organisation eine Chance mit hohem Risiko, aber auch hohem Ertragspotenzial dar.

Doch die genaue Vorgehensweise, mit der Ihr Unternehmen diesen großen Schritt in die GenAI-Landschaft vollziehen sollte, erfordert eine sorgfältige Planung. Aus organisatorischer Sicht könnte es sinnvoller sein, über einen Anbieter nach dem Software-as-a-Service-Modell (SaaS) auf das Modell zuzugreifen, um Probleme bei der Konfiguration oder Installation zu vermeiden. Alternativ könnte es besser sein, das Modell in der privaten Cloud Ihres Unternehmens oder in Ihrem eigenen Netzwerk (On-Premises) bereitzustellen, sodass Ihr Unternehmen die Konfiguration und Verwaltung der API selbst kontrollieren kann.

Diese dreiteilige Blogreihe befasst sich mit der Frage Wie? : Wie sollte Ihr Unternehmen LLMs unternehmensweit bereitstellen, um eine maximale Kapitalrendite zu erzielen? Jeder Blogbeitrag informiert über die Vor- und Nachteile eines gängigen Bereitstellungsmodells, sodass Sie dieses im Hinblick auf die Organisations- und Geschäftsstruktur Ihres Unternehmens sowie dessen spezifische geschäftliche Anforderungen bewerten können.

APIs definieren

Eine Anwendungsprogrammierschnittstelle (API) ist im Wesentlichen eine digitale Verbindung zwischen zwei Geräten, über die sie Informationen austauschen können. API-Software umfasst Definitionen, die festlegen, welche Daten zwischen den Geräten übertragen werden (z. B. zwischen dem Clientgerät, das die Anfrage stellt, und dem Servergerät, das die Antwort sendet), sowie Protokolle, die bestimmen, wie diese Informationen übertragen werden sollen (z. B. die URL bzw. der Endpunkt des empfangenden Geräts und die Syntax, Formulierung oder Sprache, die sowohl für die Anfrage als auch für die Antwort verwendet werden muss). Dadurch können sich Endnutzer beispielsweise bei Anwendungen anmelden, um Artikel auf einer Website zu kaufen, eine Mitfahrgelegenheit zu buchen oder – im Zusammenhang mit einem LLM – eine Anfrage zu stellen und eine Antwort zu erhalten, ohne verstehen zu müssen, wie oder warum das System funktioniert. APIs können überwacht und abgesichert werden, sodass die Daten auf dem Clientgerät dem Servergerät niemals vollständig offengelegt werden.

Definition von On-Premise

Ein On-Premise-System bedeutet, dass die Anwendung, in diesem Fall das LLM, auf der Infrastruktur (den Servern) der Organisation installiert ist und allen Benutzern zur Verfügung steht, die Zugriff auf das Netzwerk der Organisation und die Anwendung haben. Einige On-Premise-Systeme sind vom offenen Zugang zum Internet isoliert oder durch einen „Air Gap“ getrennt, können jedoch über sichere Verbindungen angebunden werden.

Vorteile

Datensicherheit und Compliance: Das Hosting von LLMs auf Ihren eigenen Servern stellt sicher, dass Sie die vollständige Kontrolle über Ihre Daten und die Sicherheitsprotokolle haben, die diese vor internen und externen Bedrohungen schützen. Dies ist besonders wichtig für Organisationen, die strengen Datenschutzvorschriften unterliegen, etwa im Gesundheits- oder Finanzwesen.

Anpassung und Kontrolle: Bei einer On-Premises-Lösung können Sie die LLMs an spezifische Aufgaben, Anforderungen und sonstige Bedürfnisse Ihres Unternehmens anpassen sowie die APIs konfigurieren und verwalten.

Niedrige Latenz: Lokal betriebene LLMs erzielen häufig niedrigere Latenzzeiten, was für einige Echtzeitanwendungen wie Sofortübersetzungen, Echtzeitanalysen oder auf Chatbots gestützte Kundenserviceprozesse entscheidend ist. 

Datenintegration: Die Integration der LLM(s) in bestehende Datenbanken und interne Systeme kann erfolgen, ohne dass bei der Datenübertragung Bedenken hinsichtlich Schutz und Sicherheit bestehen.

Kostenkontrolle und Planbarkeit: Die Ersteinrichtung einer On-Premises-Lösung kann kostspielig sein, dafür fallen jedoch keine wiederkehrenden Gebühren für Drittanbieter, Abonnements oder Hosting an, die sich erhöhen könnten. Auch Probleme durch eine Anbieterbindung entfallen, sodass eine On-Premises-Lösung langfristig potenziell wirtschaftlicher ist. Mit einem On-Premises-Modell lassen sich Aufgaben effizienter automatisieren und das Modell leichter für andere Zwecke feinabstimmen. Dadurch können mehr Aufgaben sowohl zur Kosteneinsparung als auch zur Umsatzgenerierung beitragen.

Nachteile

Hohe Anfangskosten: Die Einrichtung der erforderlichen lokalen Hardware und Software sowie die Bereitstellung geeigneter Räumlichkeiten und der Stromversorgung für ein lokal betriebenes LLM kann kostspielig und zeitaufwendig sein.

Wartungsanforderungen: Eine On-Premise-Lösung erfordert kontinuierliche Wartung und laufenden Betriebsaufwand, darunter Hardware-Reparaturen, Software-Updates und Sicherheitsmaßnahmen, was erhebliche Ressourcen beanspruchen kann. 

Komplexität und Skalierbarkeit: Die Skalierung lokal betriebener LLMs kann komplex und kostspielig sein und erfordert häufig die Anschaffung zusätzlicher Hardware sowie Systemausfallzeiten für Upgrades, da eine Skalierung nach oben oder unten nicht bedarfsgesteuert erfolgen kann. 

Eingeschränkte Zugänglichkeit: On-Premises-Lösungen sind von verschiedenen Standorten aus möglicherweise nicht einfach oder sicher zugänglich und können für den Fernzugriff virtuelle private Netzwerke (VPNs) oder andere sichere Kanäle erfordern. Lokale Systemausfälle, etwa aufgrund von Wetterereignissen oder anderen Problemen, können die Konnektivität beeinträchtigen, sofern das Unternehmen keine kritischen Redundanzen eingeplant und aufrechterhalten hat.

Fazit

Ob die Bereitstellung eines LLM in Ihrem gesamten Unternehmen vor Ort Vorteile bietet, muss anhand einer sorgfältigen Prüfung der finanziellen und technischen Ressourcen, der geschäftlichen Anforderungen sowie der Sicherheitsvorgaben und sonstigen betrieblichen Einschränkungen Ihres Unternehmens ermittelt werden.

Über den Autor

F5 Newsroom Staff

Weitere Blogbeiträge von F5 Newsroom Staff