Sentient.io democratiza la IA con los servicios de F5 Distributed Cloud

Sentient.io, un proveedor de plataformas de IA y datos con sede en Singapur, está democratizando el acceso a la IA para empresas de todos los tamaños. Los servicios de F5 Distributed Cloud ayudaron a optimizar las operaciones distribuidas de Sentient.io, reduciendo los costes operativos y, al mismo tiempo, facilitando el procesamiento de IA en tiempo real en el extremo de la red.

Desafío empresarial

La trayectoria de Sentient.io como empresa innovadora en IA se ha caracterizado por un éxito extraordinario. Con el objetivo de hacer realidad su visión de dotar a diversos sectores de soluciones de IA transformadoras, Sentient.io busca proporcionar información en tiempo real que facilite una toma de decisiones eficaz. Las soluciones de IA de la empresa están revolucionando distintos sectores y permiten a las organizaciones aprovechar el poder transformador de la IA. Sentient Marketplace, la plataforma de la empresa, reúne servicios innovadores de IA que permiten a las organizaciones integrar fácilmente la IA en sus flujos de trabajo actuales. Sentient Marketplace permite a clientes de los países de la ASEAN y Japón aprovechar el poder de la IA.

Sin embargo, el rápido crecimiento y la ampliación de la base de clientes plantearon varios retos complejos, en particular la complejidad de los entornos multicloud y las limitaciones del procesamiento tradicional nativo de la nube. Las soluciones específicas de cada proveedor de servicios en la nube conllevan dificultades inherentes cuando se trabaja con varios proveedores. Por ejemplo, cada uno ofrece una distribución propia de Kubernetes (GKE o AKS), lo que puede resultar abrumador para las organizaciones que necesitan aprovechar estas plataformas en sus respectivos entornos de nube.

A estos retos se sumaba el engorroso proceso de despliegue de modelos de IA en las instalaciones de los clientes. El enfoque manual, que consistía en descargar los modelos, configurar entornos de Kubernetes locales para cada ubicación periférica y gestionar las actualizaciones manualmente, no solo requería mucho tiempo, sino que también era propenso a errores, lo que provocaba retrasos y despliegues de modelos incoherentes. Además, la sincronización de nuevos modelos desde el Sentient Marketplace central con las instalaciones de los clientes era un proceso muy manual que generaba mayores ineficiencias operativas en dichas instalaciones.

A medida que las aplicaciones de IA de Sentient.io ganaban aceptación entre los clientes, la empresa tomó conciencia de las dificultades que entrañaba operar e implementar estos servicios en entornos distribuidos, tanto locales como de nube pública y privada. Esto alargaba el plazo para obtener valor de sus soluciones, aumentaba la complejidad operativa y generaba incoherencias en la orquestación de los flujos de trabajo y en las políticas de seguridad. Además, no encontraban una solución que funcionara en cualquier nube y permitiera implementar y distribuir sus aplicaciones de IA de forma segura.

Soluciones

Consciente de la necesidad de adoptar un enfoque más ágil y eficiente, Sentient.io se asoció con F5 y utilizó los servicios de F5 Distributed Cloud para ofrecer soluciones de IA «como servicio» llave en mano y de nivel empresarial a clientes de diversos sectores, permitiéndoles aprovechar todo el potencial de la IA para sus negocios.

F5 Distributed Cloud App Stack es el servicio fundamental que habilitaron en la plataforma para permitir el procesamiento de datos en tiempo real en el extremo. Distributed Cloud App Stack permite entregar los datos de inferencia localizados más cerca de la aplicación, lo que reduce la dependencia de enlaces móviles o basados en Internet para recuperar dichos datos.

Distributed Cloud App Stack unificó su entorno de aplicaciones, eliminando la necesidad de gestionar varias distribuciones de Kubernetes y agilizando la implementación y la gestión de servicios clave de IA. Esta simplificación dio lugar a numerosas mejoras operativas y permitió a Sentient.io implementar fácilmente modelos de IA en cualquier proveedor de servicios en la nube con mayor eficiencia.

«Gracias a F5 Distributed Cloud App Stack, se ha transformado la forma en que proporcionamos infraestructura de IA a nuestros clientes», afirma Christopher Yeo, CEO de Sentient.io. «El procesamiento de datos en el extremo de la red ha permitido obtener información en tiempo real, lo que permite a nuestros clientes tomar decisiones fundamentadas al instante, independientemente del volumen de datos o de dónde se encuentren. Este cambio ha revolucionado nuestro negocio y nos ha situado a la vanguardia de la innovación en IA».

De cara al futuro, Sentient.io también tiene previsto explorar los servicios de F5 Distributed Cloud para proteger sus soluciones de LLM. «Nuestra experiencia con F5 nos ha dado la confianza necesaria para explorar F5 Distributed Cloud Web Application and API Protection (WAAP), con el fin de proteger de forma integral nuestros servicios de LLM y mitigar amenazas como la denegación de servicio y la divulgación de información confidencial», afirma Yeo.

Sentient.io permite a las empresas que buscan soluciones innovadoras de IA/ML con F5 obtener valor más rápidamente.

Resultados

Plataforma PaaS unificada

F5 Distributed Cloud Services eliminó la necesidad de gestionar múltiples entornos de nube, lo que simplificó las operaciones y mejoró la eficiencia. Esto permitió a Sentient.io implementar modelos de IA en varios proveedores de servicios en la nube con mayor agilidad y escalabilidad

Información en tiempo real en el edge

La solución optimizó las operaciones de Sentient, redujo la latencia y permitió procesar la IA en tiempo real en el extremo de la red. Ejecutar la inferencia en el extremo elimina las limitaciones de red y ancho de banda derivadas de la ubicación geográfica y garantiza que los resultados se proporcionen de inmediato a las aplicaciones en tiempo real. Este cambio en el despliegue de modelos permitió a Sentient.io ofrecer a sus clientes aplicaciones de IA de alto rendimiento y obtener valor con mayor rapidez.

Distributed Cloud App Stack incluye capacidades de GPU integradas, lo que reduce la necesidad de que Sentient implemente recursos de GPU adicionales en cada sitio de inferencia.

Reducción de costes y mejora de la seguridad

Al centralizar las operaciones en la plataforma de nube distribuida, pudieron optimizar la asignación de recursos y reducir los costes operativos generales. La integración nativa y la compatibilidad con la seguridad de las aplicaciones y las API en la plataforma garantizaron la protección de todas las aplicaciones de inferencia.

La colaboración también permitió ahorrar costes de forma significativa. La gestión de varias plataformas en la nube requería equipos dedicados y conllevaba unos costes de recursos considerables. Con los servicios de F5 Distributed Cloud, Sentient simplificó las operaciones y redujo los costes mediante la optimización de los recursos y la simplificación de la gestión de las aplicaciones, lo que permitió liberar recursos para iniciativas estratégicas.

Yeo afirma: «La cuestión con F5 Distributed Cloud Services es que no solo es una solución muy potente para la IA, sino también nuestra arma secreta para proteger los datos. Todo se basa en la confianza. Con F5, Sentient.io no solo innova, sino que también garantiza una privacidad e integridad de los datos a prueba de todo».

Ver todos los casos de clientes