Sentient.io, F5 분산 클라우드 서비스로 AI를 민주화

싱가포르에 본사를 둔 AI 및 데이터 플랫폼 공급업체인 Sentient.io는 모든 규모의 기업이 AI에 쉽게 접근할 수 있도록 하고 있습니다. F5 분산 클라우드 서비스는 Sentient.io의 분산된 운영을 간소화하고 운영 비용을 낮추는 동시에 엣지에서 실시간 AI 처리를 강화하는 데 도움이 되었습니다.

비즈니스 챌린지

AI 혁신 기업으로서 Sentient.io의 여정은 놀라운 성공으로 기록되었습니다. Sentient.io는 혁신적인 AI 솔루션으로 다양한 산업에 힘을 실어준다는 비전을 추구하며, 효과적인 의사 결정을 뒷받침하는 실시간 통찰력을 제공하고자 합니다. 이 회사의 AI 솔루션은 산업을 혁신하고 있으며, 기업이 AI의 혁신적인 힘을 발휘할 수 있도록 지원합니다. 이 회사의 Sentient Marketplace는 기업이 AI를 기존 워크플로에 쉽게 통합할 수 있도록 하는 혁신적인 AI 서비스의 허브입니다. Sentient Marketplace는 ASEAN 국가 및 일본의 고객이 AI의 힘을 활용할 수 있도록 지원합니다.

그러나 급속한 성장과 고객 기반의 확대는 멀티 클라우드 환경의 복잡성과 기존 클라우드 기반 프로세싱의 한계 등 여러 가지 복잡한 과제를 가져왔습니다. 개별 클라우드 공급업체 솔루션을 여러 공급업체에 걸쳐 운영하는 경우 본질적인 어려움이 발생합니다. 각각은 독점적인 Kubernetes 배포판(예: GKE 또는 AKS)을 제공하는데, 이는 해당 플랫폼을 각자의 클라우드 환경에서 활용해야 하는 조직에게는 어려울 수 있습니다.

더욱이 고객 사이트에 AI 모델을 배포하는 과정이 번거로웠다는 점이 과제를 더욱 복잡하게 만들었습니다. 모델을 다운로드하고, 각 에지 사이트에 온프레미스 Kubernetes 환경을 설정하고, 업데이트를 수동으로 처리하는 수동 방식은 시간이 많이 걸릴 뿐만 아니라 오류가 발생하기 쉬워 지연과 일관되지 않은 모델 배포로 이어졌습니다. 또한, 중앙 Sentient Marketplace에서 고객 사이트로 새 모델을 동기화하는 작업은 매우 수동적인 프로세스였으며, 이로 인해 고객 사이트 전반에서 운영상의 결함이 증가했습니다.

Sentient.io의 AI 애플리케이션이 고객들에게 인기를 얻으면서, 그들은 온프레미스, 퍼블릭 클라우드, 프라이빗 클라우드 등 분산 환경에서 이러한 서비스를 운영하고 배포하는 데 따르는 과제를 깨닫게 되었습니다. 이로 인해 운영상의 복잡성이 증가하고 워크플로 오케스트레이션과 보안 정책이 일관되지 않아 서비스의 가치 실현 기간이 길어졌습니다. 게다가 그들은 AI 애플리케이션을 안전하게 배포하고 전달하기 위해 모든 클라우드에서 작동하는 솔루션을 찾을 수 없었습니다.

솔루션

보다 간소화되고 효율적인 접근 방식에 대한 필요성을 인식한 Sentient.io는 F5 Distributed Cloud Services를 사용하여 F5와 협력하여 다양한 수직 분야의 고객에게 턴키 방식의 엔터프라이즈급 AI "서비스형" 솔루션을 제공하여 비즈니스에서 AI의 힘을 끌어낼 수 있도록 했습니다.

F5 분산 클라우드 앱 스택은 엣지에서 실시간 데이터 처리를 가능하게 하는 플랫폼에서 활성화된 핵심 서비스입니다. 분산 클라우드 앱 스택을 사용하면 로컬 추론 데이터를 애플리케이션에 더 가깝게 전달하여 추론 데이터 검색을 위한 인터넷 기반 또는 모바일 링크에 대한 종속성을 줄일 수 있습니다.

분산형 클라우드 앱 스택은 애플리케이션 환경을 통합하여 여러 Kubernetes 배포를 관리할 필요성을 제거하고 주요 AI 서비스를 배포하고 관리하는 방법을 간소화했습니다. 이러한 단순화로 인해 많은 운영상의 개선이 이루어졌고 Sentient.io는 효율성을 높여 모든 클라우드 공급자에 AI 모델을 쉽게 배포할 수 있었습니다.

Sentient.io의 CEO인 Christopher Yeo는 "F5 Distributed Cloud App Stack 덕분에 고객에게 AI 인프라를 제공하는 방식이 혁신되었습니다."라고 말했습니다. "엣지에서 데이터를 처리하면 실시간 통찰력이 확보되어 고객이 데이터 양이나 위치에 관계없이 즉각적이고 정보에 입각한 결정을 내릴 수 있습니다. 이러한 변화로 인해 당사 사업은 혁신을 거듭해 AI 혁신의 최전선에 서게 되었습니다."

앞으로 Sentient.io는 LLM 솔루션을 확보하기 위해 F5 분산 클라우드 서비스도 모색하고 있습니다. Yeo는 "F5와의 경험을 통해 F5 분산 클라우드 웹 애플리케이션 및 API 보호(WAAP)를 탐색하여 LLM 서비스를 전체적으로 보호하고 서비스 거부 및 민감한 정보 공개와 같은 LLM 위협을 완화할 수 있는 확신을 얻었습니다."라고 말했습니다.

Sentient.io는 F5를 통해 혁신적인 AI/ML 솔루션을 추구하는 기업의 가치 실현 시간을 단축할 수 있습니다.

결과

통합 PaaS 플랫폼

F5 분산 클라우드 서비스를 사용하면 여러 클라우드 환경을 관리할 필요성이 없어져 운영이 간소화되고 효율성이 향상됩니다. 이를 통해 Sentient.io는 더욱 향상된 민첩성과 확장성을 갖춘 여러 클라우드 공급자에 AI 모델을 배포할 수 있었습니다.

엣지에서의 실시간 통찰력

이 솔루션은 Sentient의 운영을 간소화하여 지연 시간을 줄이고 엣지에서 실시간 AI 처리를 가능하게 했습니다. 에지에서 추론을 제공하면 지리적 위치로 인한 네트워크 및 대역폭 제약이 사라지고 실시간으로 애플리케이션에 추론을 즉시 전달할 수 있습니다. 모델 배포 방식의 이러한 전환을 통해 Sentient.io는 고객에게 더 빠른 가치 실현 시간으로 고성능 AI 애플리케이션을 제공할 수 있게 되었습니다.

분산형 클라우드 앱 스택에는 GPU 기능이 내장되어 있어 Sentient가 모든 추론 사이트에 추가 GPU 리소스를 배포할 필요성이 줄어듭니다.

비용 절감 및 보안 강화

분산 클라우드 플랫폼으로 운영을 간소화함으로써 리소스 할당을 최적화하고 전반적인 운영 비용을 절감할 수 있었습니다. 플랫폼에서 애플리케이션과 API 보안을 기본적으로 통합하고 지원하므로 모든 추론 앱이 보호됩니다.

또한, 협력을 통해 상당한 비용 절감 효과도 얻었습니다. 여러 클라우드 플랫폼을 관리하려면 전담 팀이 필요했고 상당한 리소스 비용이 발생했습니다. F5 분산 클라우드 서비스를 통해 Sentient는 리소스를 최적화하고 애플리케이션 관리를 간소화하여 운영을 간소화하고 비용을 절감했으며, 전략적 이니셔티브에 리소스를 투자할 수 있게 되었습니다.

Yeo는 "F5 분산 클라우드 서비스의 장점은 AI를 위한 강력한 솔루션일 뿐만 아니라 데이터 보안을 위한 비밀 무기라는 점"이라고 말했습니다. 모든 것은 신뢰에 달려 있습니다. F5를 통해 Sentient.io는 혁신을 이루는 것뿐만 아니라 데이터 프라이버시와 무결성이 매우 견고하도록 보장합니다."

모든 고객 사례 보기 