Sentient.io democratiza a IA com os serviços do F5 Distributed Cloud

A Sentient.io, fornecedora de uma plataforma de IA e dados sediada em Singapura, está democratizando o acesso à IA para empresas de todos os portes. Os serviços do F5 Distributed Cloud ajudaram a simplificar as operações distribuídas da Sentient.io, reduzindo os custos operacionais e viabilizando o processamento de IA em tempo real na borda.

Desafio de negócios

A trajetória da Sentient.io como inovadora em IA tem sido marcada por um sucesso notável. Com a visão de capacitar diversos setores com soluções transformadoras de IA, a Sentient.io busca fornecer insights em tempo real que contribuam para uma tomada de decisões eficaz. As soluções de IA da empresa estão revolucionando setores e permitindo que as organizações explorem o poder transformador da IA. O Sentient Marketplace da empresa é um polo de serviços inovadores de IA que permitem às empresas integrar facilmente a IA aos seus fluxos de trabalho existentes. O Sentient Marketplace permite que clientes dos países da ASEAN e do Japão aproveitem o poder da IA.

No entanto, o rápido crescimento e a expansão da base de clientes trouxeram diversos desafios complexos, como a complexidade dos ambientes multinuvem e as limitações do processamento tradicional nativo da nuvem. As soluções específicas de cada provedor de nuvem apresentam desafios inerentes à operação com múltiplos provedores. Cada um oferece, por exemplo, uma distribuição proprietária do Kubernetes (GKE ou AKS), o que pode representar um grande desafio para organizações que precisam utilizar essas plataformas em seus respectivos ambientes de nuvem.

Outro fator que agravava os desafios era o processo trabalhoso de implantação de modelos de IA nas instalações dos clientes. A abordagem manual de baixar modelos, configurar ambientes Kubernetes locais em cada unidade de borda e gerenciar atualizações manualmente não só consumia muito tempo, como também era propensa a erros, resultando em atrasos e inconsistências nas implantações dos modelos. Além disso, a sincronização de novos modelos da plataforma central Sentient Marketplace com as instalações dos clientes era um processo altamente manual, o que aumentava as ineficiências operacionais nessas instalações.

À medida que os aplicativos de IA da Sentient.io ganhavam popularidade entre os clientes, a empresa percebeu os desafios de operar e implantar esses serviços em ambientes distribuídos — locais, de nuvem pública e de nuvem privada. Isso aumentou o tempo necessário para que suas soluções gerassem valor, além de elevar a complexidade operacional e gerar inconsistências na orquestração de fluxos de trabalho e nas políticas de segurança. Além disso, a empresa não conseguia encontrar uma solução que funcionasse em qualquer nuvem para implantar e disponibilizar seus aplicativos de IA com segurança.

Soluções

Reconhecendo a necessidade de uma abordagem mais simplificada e eficiente, a Sentient.io firmou uma parceria com a F5, utilizando o F5 Distributed Cloud Services para oferecer soluções de IA “como serviço” prontas para uso e de nível empresarial a clientes de diversos setores, permitindo que aproveitem o poder da IA em seus negócios.

“O diferencial do F5 Distributed Cloud Services é que ele não é apenas uma potência em IA; é nossa arma secreta para a segurança de dados. ”

Christopher Yeo, CEO, Sentient.io

F5 Distributed Cloud App Stack é o serviço essencial que eles ativaram na plataforma para permitir o processamento de dados em tempo real na borda. Distributed Cloud App Stack permite que os dados de inferência locais sejam disponibilizados mais perto da aplicação, reduzindo a dependência de conexões de Internet ou de redes móveis para a obtenção desses dados.

O Distributed Cloud App Stack unificou o ambiente de aplicações da empresa, eliminando a necessidade de gerenciar várias distribuições do Kubernetes e simplificando a implantação e o gerenciamento de serviços essenciais de IA. Essa simplificação resultou em diversas melhorias operacionais e permitiu que a Sentient.io implantasse modelos de IA com facilidade e maior eficiência em qualquer provedor de nuvem.

“Graças ao F5 Distributed Cloud App Stack, transformamos a maneira como fornecemos infraestrutura de IA aos nossos clientes”, afirma Christopher Yeo, CEO da Sentient.io. “O processamento de dados na borda possibilitou insights em tempo real, permitindo que nossos clientes tomem decisões imediatas e bem fundamentadas, independentemente do volume de dados ou de onde estejam. Essa mudança revolucionou nossos negócios, colocando-nos na vanguarda da inovação em IA.”

Daqui para frente, a Sentient.io também pretende explorar o F5 Distributed Cloud Services para proteger suas soluções de LLM. “Nossa experiência com a F5 nos deu confiança para explorar o F5 Distributed Cloud Web Application and API Protection (WAAP) para proteger de forma abrangente nossos serviços de LLM e mitigar ameaças a LLMs, como negação de serviço e divulgação de informações confidenciais”, afirma Yeo.

Com a F5, a Sentient.io consegue acelerar a geração de valor para empresas que buscam soluções inovadoras de IA/ML.

Resultados

Plataforma PaaS unificada

O F5 Distributed Cloud Services eliminou a necessidade de gerenciar múltiplos ambientes de nuvem, simplificando as operações e melhorando a eficiência. Isso permitiu que a Sentient.io implantasse modelos de IA em vários provedores de nuvem com maior agilidade e escalabilidade

“Graças ao F5 Distributed Cloud App Stack, nossa entrega de soluções de IA passou por uma transformação significativa. Essa mudança revolucionou nossos negócios, colocando-nos na vanguarda da inovação em IA. ”

Christopher Yeo, CEO, Sentient.io

Insights em tempo real na borda

A solução otimizou as operações da Sentient, reduzindo a latência e viabilizando o processamento de IA em tempo real na borda. Executar a inferência na borda elimina as restrições de rede e largura de banda decorrentes da localização geográfica e garante que os resultados da inferência sejam disponibilizados imediatamente às aplicações, em tempo real. Essa mudança na implantação de modelos permitiu que a Sentient.io oferecesse aos seus clientes aplicações de IA de alto desempenho, gerando valor em menos tempo.

Distributed Cloud App Stack inclui recursos de GPU integrados, o que reduz a necessidade de a Sentient implantar recursos adicionais de GPU em cada local de inferência.

Custos reduzidos e segurança aprimorada

Ao simplificar as operações na Distributed Cloud Platform, foi possível otimizar a alocação de recursos e reduzir os custos operacionais gerais. A integração nativa e o suporte à segurança de aplicações e APIs na plataforma garantiram a proteção de todas as aplicações de inferência.

A colaboração também gerou uma economia significativa de custos. O gerenciamento de várias plataformas de nuvem exigia equipes dedicadas e gerava custos substanciais com recursos. Com o F5 Distributed Cloud Services, a Sentient simplificou as operações, reduzindo custos por meio da otimização de recursos e da simplificação do gerenciamento de aplicações, liberando recursos para iniciativas estratégicas.

Yeo afirma: “O grande diferencial dos serviços do F5 Distributed Cloud é que eles não são apenas uma solução poderosa para IA; são nossa arma secreta para a segurança de dados. Tudo se resume à confiança. Com a F5, a Sentient.io não está apenas inovando, mas também garantindo que a privacidade e a integridade dos dados sejam inabaláveis.”

Veja todas as histórias de clientes

Logotipo de Sentient.io democratiza a IA com os serviços do F5 Distributed Cloud

Benefícios

  • Fluxos de trabalho consistentes para orquestrar serviços de IA
  • Operações simplificadas para milhares de locais de borda
  • Entrega segura de dados de treinamento para fins de inferência
  • Menor tempo de lançamento de soluções de IA no mercado

Desafios

  • Maior complexidade em múltiplas nuvens
  • Fluxos de trabalho inconsistentes para a entrega de dados de IA
  • Garantir a segurança da infraestrutura distribuída de IA