Sentient.io demokratisiert KI mit F5 Distributed Cloud Services

Sentient.io, ein in Singapur ansässiger Anbieter von KI- und Datenplattformen, demokratisiert den Zugang zu KI für Unternehmen jeder Größe. F5 Distributed Cloud Services trug dazu bei, die verteilten Abläufe von Sentient.io zu optimieren, die Betriebskosten zu senken und gleichzeitig die KI-Verarbeitung in Echtzeit am Edge zu ermöglichen.

Geschäftliche Herausforderung

Sentient.io kann auf seinem Weg als KI-Innovator bemerkenswerte Erfolge verzeichnen. Um seine Vision zu verwirklichen, verschiedenste Branchen mit transformativen KI-Lösungen zu unterstützen, möchte Sentient.io Erkenntnisse in Echtzeit bereitstellen, die fundierte Entscheidungen ermöglichen. Die KI-Lösungen des Unternehmens revolutionieren ganze Branchen und versetzen Unternehmen in die Lage, das transformative Potenzial von KI voll auszuschöpfen. Der Sentient Marketplace des Unternehmens ist eine zentrale Plattform für innovative KI-Dienste, die sich einfach in bestehende Arbeitsabläufe integrieren lassen. Über den Sentient Marketplace können Kunden in den ASEAN-Ländern und Japan die Leistungsfähigkeit von KI nutzen.

Das rasante Wachstum und der wachsende Kundenstamm brachten jedoch einige komplexe Herausforderungen mit sich, insbesondere die Komplexität von Multi-Cloud-Umgebungen und die Einschränkungen herkömmlicher Cloud-nativer Verarbeitung. Die Lösungen einzelner Cloud-Anbieter stellen beim anbieterübergreifenden Betrieb besondere Herausforderungen dar. So bietet beispielsweise jeder Anbieter eine eigene Kubernetes-Distribution (GKE oder AKS), was für Unternehmen, die diese Plattformen in ihren jeweiligen Cloud-Umgebungen nutzen müssen, eine große Herausforderung darstellen kann.

Erschwerend kam der umständliche Bereitstellungsprozess für KI-Modelle an den Kundenstandorten hinzu. Das manuelle Herunterladen der Modelle, das Einrichten lokaler Kubernetes-Umgebungen für jeden Edge-Standort und die manuelle Durchführung von Aktualisierungen waren nicht nur zeitaufwendig, sondern auch fehleranfällig, was zu Verzögerungen und uneinheitlichen Modellbereitstellungen führte. Darüber hinaus war die Synchronisierung neuer Modelle vom zentralen Sentient Marketplace mit den Kundenstandorten ein weitgehend manueller Prozess, der die betrieblichen Ineffizienzen an den Kundenstandorten verstärkte.

Als die KI-Anwendungen von Sentient.io bei den Kunden zunehmend Anklang fanden, erkannte das Unternehmen die Herausforderungen, die mit dem Betrieb und der Bereitstellung dieser Dienste in verteilten Umgebungen – On-Premises, Public Cloud und Private Cloud – verbunden waren. Dies führte bei den Angeboten des Unternehmens zu einer längeren Wertschöpfungszeit, einer höheren betrieblichen Komplexität sowie einer uneinheitlichen Workflow-Orchestrierung und inkonsistenten Sicherheitsrichtlinien. Darüber hinaus konnte das Unternehmen keine Lösung finden, die cloudübergreifend eine sichere Bereitstellung und Auslieferung seiner KI-Anwendungen ermöglichte.

Lösungen

Sentient.io erkannte den Bedarf an einem optimierten und effizienteren Ansatz und ging daher eine Partnerschaft mit F5 ein. Mithilfe von F5 Distributed Cloud Services bietet das Unternehmen Kunden aus verschiedensten Branchen schlüsselfertige KI-as-a-Service-Lösungen auf Enterprise-Niveau, damit sie das Potenzial von KI für ihr Geschäft ausschöpfen können.

F5 Distributed Cloud App Stack ist der zentrale Dienst, den sie auf der Plattform aktiviert haben, um die Echtzeit-Datenverarbeitung am Edge zu ermöglichen. Distributed Cloud App Stack ermöglicht es, lokalisierte Inferenzdaten näher an der Anwendung bereitzustellen, wodurch die Abhängigkeit von internetbasierten oder mobilen Verbindungen beim Abrufen von Inferenzdaten reduziert wird.

Distributed Cloud App Stack vereinheitlichte die Anwendungsumgebung des Unternehmens, sodass die Verwaltung mehrerer Kubernetes-Distributionen entfiel und die Bereitstellung und Verwaltung wichtiger KI-Dienste optimiert wurde. Diese Vereinfachung führte zu zahlreichen betrieblichen Verbesserungen und ermöglichte es Sentient.io, KI-Modelle effizienter und unkompliziert bei beliebigen Cloud-Anbietern bereitzustellen.

„Dank F5 Distributed Cloud App Stack hat sich die Art und Weise, wie wir unseren Kunden KI-Infrastruktur bereitstellen, grundlegend verändert“, sagt Christopher Yeo, CEO von Sentient.io. „Die Datenverarbeitung am Edge ermöglicht Erkenntnisse in Echtzeit und versetzt unsere Kunden in die Lage, sofort fundierte Entscheidungen zu treffen – unabhängig von der Datenmenge oder ihrem Standort. Dieser Wandel hat unser Geschäft revolutioniert und uns an die Spitze der KI-Innovation gebracht.“

Künftig möchte Sentient.io auch den Einsatz von F5 Distributed Cloud Services prüfen, um seine LLM-Lösungen abzusichern. „Unsere Erfahrungen mit F5 haben uns das nötige Vertrauen gegeben, F5 Distributed Cloud Web Application and API Protection (WAAP) in Betracht zu ziehen, um unsere LLM-Dienste ganzheitlich zu schützen und LLM-Bedrohungen wie Denial-of-Service-Angriffe und die Offenlegung vertraulicher Informationen abzuwehren“, so Yeo.

Sentient.io kann mit F5 die Wertschöpfungszeit für Unternehmen verkürzen, die nach innovativen KI/ML-Lösungen suchen.

Ergebnisse

Einheitliche PaaS-Plattform

F5 Distributed Cloud Services machten die Verwaltung mehrerer Cloud-Umgebungen überflüssig, vereinfachten dadurch den Betrieb und steigerten die Effizienz. So konnte Sentient.io KI-Modelle agiler und skalierbarer bei mehreren Cloud-Anbietern bereitstellen.

Echtzeit-Einblicke am Edge

Die Lösung optimierte die Betriebsabläufe von Sentient, reduzierte die Latenz und ermöglichte die KI-Verarbeitung in Echtzeit am Netzwerkrand. Durch die Bereitstellung von Inferenzen am Netzwerkrand entfallen geografisch bedingte Netzwerk- und Bandbreitenbeschränkungen, und Anwendungen erhalten Inferenzergebnisse unmittelbar in Echtzeit. Dank dieser Umstellung bei der Modellbereitstellung konnte Sentient.io seinen Kunden leistungsstarke KI-Anwendungen mit einer kürzeren Wertschöpfungszeit bereitstellen.

Distributed Cloud App Stack umfasst integrierte GPU-Funktionen, wodurch Sentient weniger zusätzliche GPU-Ressourcen an jedem Inferenzstandort bereitstellen muss.

Geringere Kosten und erhöhte Sicherheit

Durch die Konsolidierung ihrer Abläufe auf der Distributed Cloud Platform konnten sie die Ressourcenzuweisung optimieren und die Gesamtbetriebskosten senken. Die native Integration und Unterstützung von Anwendungs- und API-Sicherheit auf der Plattform gewährleistete den Schutz aller Inferenzanwendungen.

Die Zusammenarbeit führte außerdem zu erheblichen Kosteneinsparungen. Die Verwaltung mehrerer Cloud-Plattformen erforderte eigene Teams und verursachte beträchtliche Ressourcenkosten. Mit F5 Distributed Cloud Services vereinfachte Sentient seine Abläufe und senkte die Kosten durch eine optimierte Ressourcennutzung und ein vereinfachtes Anwendungsmanagement. Dadurch wurden Ressourcen für strategische Initiativen frei.

Yeo sagt: „Das Besondere an F5 Distributed Cloud Services ist, dass es nicht nur eine leistungsstarke Lösung für KI ist, sondern auch unsere Geheimwaffe für Datensicherheit. Dabei dreht sich alles um Vertrauen. Mit F5 treibt Sentient.io nicht nur Innovationen voran, sondern stellt auch sicher, dass Datenschutz und Datenintegrität absolut gewährleistet sind.“

Alle Kundenberichte ansehen