Sentient.io democratiza a IA com os serviços do F5 Distributed Cloud

A Sentient.io, uma provedora de plataforma de IA e dados sediada em Singapura, está democratizando o acesso à IA para empresas de todos os portes. Os serviços F5 Distributed Cloud ajudaram a otimizar as operações distribuídas da Sentient.io, reduzindo os custos operacionais e, ao mesmo tempo, viabilizando o processamento de IA em tempo real na borda.

Desafio de negócios

A trajetória da Sentient.io como inovadora em IA tem sido marcada por um sucesso notável. Em busca de concretizar sua visão de capacitar diversos setores com soluções transformadoras de IA, a Sentient.io procura fornecer insights em tempo real que ajudem a promover uma tomada de decisão eficaz. As soluções de IA da empresa estão revolucionando setores e capacitando organizações a liberar o poder transformador da IA. O Sentient Marketplace da empresa é um polo de serviços inovadores de IA que permite às empresas integrar facilmente a IA aos seus fluxos de trabalho existentes. O Sentient Marketplace permite que clientes dos países da ASEAN e do Japão aproveitem o poder da IA.

No entanto, o rápido crescimento e a expansão da base de clientes trouxeram vários desafios complexos, sobretudo a complexidade dos ambientes multinuvem e as limitações do processamento tradicional nativo da nuvem. As soluções específicas de cada provedor de nuvem apresentam desafios inerentes à operação com vários provedores. Cada um oferece, por exemplo, uma distribuição proprietária do Kubernetes (GKE ou AKS), o que pode ser desafiador para organizações que precisam utilizar essas plataformas em seus respectivos ambientes de nuvem.

Para agravar ainda mais os desafios, havia o complexo processo de implantação de modelos de IA nas instalações dos clientes. A abordagem manual de baixar modelos, configurar ambientes Kubernetes locais para cada site de borda e gerenciar atualizações manualmente não apenas consumia muito tempo, como também estava sujeita a erros, resultando em atrasos e implantações inconsistentes dos modelos. Além disso, a sincronização de novos modelos do Sentient Marketplace central com as instalações dos clientes era um processo altamente manual, o que aumentava as ineficiências operacionais nesses locais.

À medida que as aplicações de IA da Sentient.io ganharam adesão entre os clientes, a empresa percebeu os desafios de operar e implantar esses serviços em ambientes distribuídos — locais, de nuvem pública e de nuvem privada. Isso prolongou o ciclo de geração de valor de suas ofertas, além de aumentar a complexidade operacional e gerar inconsistências na orquestração de fluxos de trabalho e nas políticas de segurança. Além disso, a empresa não conseguia encontrar uma solução que funcionasse em qualquer nuvem para implantar e disponibilizar suas aplicações de IA com segurança.

Soluções

Reconhecendo a necessidade de uma abordagem mais ágil e eficiente, a Sentient.io firmou uma parceria com a F5 e passou a usar o F5 Distributed Cloud Services para oferecer soluções completas de IA de nível empresarial “como serviço” a clientes de diversos setores, permitindo que aproveitem o poder da IA em seus negócios.

F5 Distributed Cloud App Stack é o serviço essencial que eles habilitaram na plataforma para viabilizar o processamento de dados em tempo real na borda. Distributed Cloud App Stack permite que os dados de inferência localizados sejam fornecidos mais perto da aplicação, reduzindo a dependência de links móveis ou baseados na Internet para a recuperação de dados de inferência.

O Distributed Cloud App Stack unificou o ambiente de aplicações da empresa, eliminando a necessidade de gerenciar várias distribuições do Kubernetes e simplificando a implantação e o gerenciamento dos principais serviços de IA. Essa simplificação resultou em diversas melhorias operacionais e permitiu que a Sentient.io implantasse facilmente modelos de IA em qualquer provedor de nuvem com maior eficiência.

“Graças ao F5 Distributed Cloud App Stack, a forma como fornecemos infraestrutura de IA aos nossos clientes foi transformada”, afirma Christopher Yeo, CEO da Sentient.io. “O processamento de dados na borda possibilitou insights em tempo real, permitindo que nossos clientes tomem decisões imediatas e bem fundamentadas, independentemente do volume de dados ou de onde estejam. Essa mudança revolucionou nossos negócios, colocando-nos na vanguarda da inovação em IA.”

Daqui para frente, a Sentient.io também pretende explorar os serviços do F5 Distributed Cloud para proteger suas soluções de LLM. “Nossa experiência com a F5 nos deu confiança para explorar o F5 Distributed Cloud Web Application and API Protection (WAAP), a fim de proteger nossos serviços de LLM de forma abrangente e mitigar ameaças a LLMs, como negação de serviço e divulgação de informações confidenciais”, afirma Yeo.

Com a F5, a Sentient.io consegue acelerar a geração de valor para empresas que buscam soluções inovadoras de IA/ML.

Resultados

Plataforma PaaS unificada

O F5 Distributed Cloud Services eliminou a necessidade de gerenciar vários ambientes de nuvem, simplificando as operações e aumentando a eficiência. Isso permitiu que a Sentient.io implantasse modelos de IA em vários provedores de nuvem com mais agilidade e escalabilidade

Insights em tempo real na borda

A solução simplificou as operações da Sentient, reduzindo a latência e viabilizando o processamento de IA em tempo real na borda. A execução de inferências na borda elimina as limitações de rede e largura de banda decorrentes da localização geográfica e garante a entrega imediata dos resultados das inferências às aplicações em tempo real. Essa mudança na implantação dos modelos permitiu que a Sentient.io fornecesse aos seus clientes aplicações de IA de alto desempenho, acelerando a geração de valor.

Distributed Cloud App Stack inclui recursos de GPU integrados, o que reduz a necessidade de a Sentient implantar recursos adicionais de GPU em cada local de inferência.

Custos reduzidos e segurança aprimorada

Ao simplificar as operações na Plataforma de Nuvem Distribuída, foi possível otimizar a alocação de recursos e reduzir os custos operacionais gerais. A integração nativa e o suporte à segurança de aplicações e APIs na plataforma garantiram a proteção de todos os aplicativos de inferência.

A colaboração também proporcionou uma redução significativa de custos. O gerenciamento de várias plataformas de nuvem exigia equipes dedicadas e gerava custos substanciais com recursos. Com os serviços F5 Distributed Cloud, a Sentient simplificou as operações e reduziu custos ao otimizar recursos e simplificar o gerenciamento de aplicações, liberando recursos para iniciativas estratégicas.

Yeo afirma: “A questão sobre o F5 Distributed Cloud Services é a seguinte: ele não é apenas uma solução poderosa para IA, mas também nossa arma secreta para a segurança de dados. Tudo se resume à confiança. Com a F5, a Sentient.io não está apenas inovando, mas também garantindo que a privacidade e a integridade dos dados sejam inabaláveis.”

Veja todas as histórias de clientes