블로그

F5의 AI Data Fabric으로 AI 민주화

크리스 포드 썸네일
크리스 포드
2025년 1월 8일 게시

2024년 초에 F5 AI 데이터 패브릭을 출시했습니다. 이는 고객을 위해 인공지능의 힘을 활용하기 위해 우리가 만든 새로운 플랫폼입니다. F5 AI 데이터 패브릭을 사용하면 제품 팀이 포트폴리오 전반에 걸쳐 생성적 AI를 쉽고 안전하게 사용할 수 있습니다. AI 데이터 패브릭을 통해 포트폴리오 전반에서 AI 도입 속도를 가속화하고 있으며, 이는 파트너와 고객에게 실질적이고 구체적인 이점을 가져다 줄 것입니다.

이는 AI Data Fabric이 무엇이고, 어떻게 작동하는지 자세히 알아보고, 이를 통해 시장에 출시할 수 있는 놀라운 새로운 AI 지원 기능을 소개하는 일련의 블로그 게시물 중 첫 번째입니다. 시리즈를 시작하기 위해, 우리는 빠른 도입을 추진하려는 목표를 안내한 첫 번째 원칙에 집중할 것입니다.

AI 민주화

AI Data Fabric을 통해 데이터 과학 배경이 없는 주제 전문가를 포함하여 제품 팀을 위해 AI에 대한 액세스를 민주화하는 시스템을 구축하고자 했습니다. 이 시스템은 데이터 처리 파이프라인, 여러 개의 기본 변환기 모델, 공유 모듈의 생태계, MLOps, 소프트웨어 개발 키트(SDK)로 노출된 제어 평면을 결합합니다.

F5 AI Data Fabric의 핵심은 F5가 AI로 빠르게 혁신할 수 있도록 설계된 AI 팩토리 입니다. 모든 우수한 AI 팩토리와 마찬가지로 AI Data Fabric은 AI 앱을 빌드하고 실행하기 위한 공통적이고 확장 가능한 인프라를 제공합니다. 이는 제품 팀이 다음과 같은 작업을 수행하는 데 도움이 됩니다.

  • 훈련 데이터 생성 및 레이블 지정
  • 작업별 모델을 훈련하고 미세 조정합니다.
  • 모델을 필요한 곳 어디에나 패키징하여 배포합니다.
  • 모델 성능 및 모델 드리프트 모니터링

고객이 있는 곳에서 만나기

이 여정을 시작했을 때, 우리는 채택을 촉진하기 위한 매우 구체적인 디자인 목표를 세웠습니다. 우리는 사용자에게 작업 방식을 바꾸라고 강요하기보다, 그들이 있는 그대로의 모습을 보여줘야 했습니다. 즉, 모든 데이터를 찾고 연결하고, 셀프 서비스를 활성화하고, 모빌리티와 이동성을 지원하고, 협업과 혁신을 추진하는 생태계를 구축하고, 대규모 언어 모델(LLM)을 사용하여 모델 교육을 가속화하는 것을 의미했습니다.

데이터가 어디에 있든 연결

우수한 AI는 데이터로부터 시작되며, F5 AI 데이터 패브릭은 포트폴리오 전반의 제품에서 수집된 엄청난 양의 데이터로부터 통찰력을 얻는 데 도움이 됩니다. 대규모 앱을 운영하는 대부분의 기업과 마찬가지로, 우리도 데이터가 단일 데이터 레이크가 아닌 여러 다른 저장소에 저장되어 있다는 현실을 인식하고 있습니다. 온프레미스와 여러 클라우드(공공 및 사설)에 배포된 앱과 데이터 소스를 수용합니다. AI 데이터 패브릭은 데이터가 있는 위치에 관계없이 컴퓨팅을 연결하고 연결할 수 있습니다. 공통 데이터 카탈로그는 사용자가 많은 데이터 소스를 탐색하는 데 도움이 되며, 팀으로서 F5의 데이터 거버넌스 전략에 맞춰 데이터 자산에 대한 적절한 통제와 감사를 보장할 수 있습니다. 이 전략을 사용하면 사용자의 작업 방식을 변경하지 않고도 여러 데이터 레이크 및 데이터 소스에 걸쳐 다양한 애플리케이션 및 제품에서 데이터에 대한 통찰력을 생성하고 관리하며 거버넌스를 제공할 수 있습니다.

셀프 서비스 활성화

사용자에게 컴퓨팅 기능을 데이터에 연결할 수 있는 기능을 제공하는 것은 전체 이야기의 일부일 뿐입니다. 도입을 촉진하기 위해 우리는 전체 데이터 과학 사용자 여정을 고려해야 했고 어디에서 마찰을 제거할 수 있는지도 고려해야 했습니다. 

AI 앱을 패키징하고 배포하는 것이 좋은 예입니다. 우리는 사용자가 그렇게 할 필요가 없도록 많은 어려운 작업을 수행합니다. AI 데이터 패브릭은 파이썬 종속성을 관리하고, HTTP 서버가 있는 컨테이너에 AI 앱을 패키징하고, API 게이트웨이에서 해당 엔드포인트를 구성하고, 적절한 GPU, CPU, 메모리 요구 사항을 충족하는 Kubernetes에서 AI 앱을 필요한 곳에 배포할 수 있습니다. 사용하기 쉬운 SDK를 통해 모델의 교육, 패키징, 배포를 모두 하나의 자동화된 워크플로로 처리할 수 있다고 상상해 보세요. 이 시스템을 사용하면 데이터 과학자는 10~15분 안에 AI 애플리케이션의 새로운 버전을 배포할 수 있습니다. 마찰을 줄이면 데이터 과학자가 자신이 가장 잘하는 일, 즉 데이터 과학에 집중하는 데 도움이 됩니다.

AI 이동성과 휴대성을 위해 빌드

이는 고객이 있는 곳에서 고객을 만나는 또 다른 예입니다. 구축된 모든 컨테이너는 AI Data Fabric의 컨테이너 레지스트리에 저장되므로 사용자는 에어갭 환경에서도 실행해야 하는 곳 어디에나 AI 앱을 배포할 수 있습니다.

생태계 구축

AI 도입을 가속화하면 협업도 빠르게 이뤄집니다. 이는 여러분보다 먼저 온 사람들의 업적을 활용하고 이를 바탕으로 발전해 나가는 것을 의미합니다. AI Data Fabric 내부에는 공통적이고 복잡한 AI 기능을 수행하기 위한 "AI 생태계", 도구 및 사전 구축된 모듈이 있습니다. 사용자가 모듈과 모델을 생태계에 다시 기여하면 혁신이 실제로 가속화됩니다. 모듈은 사전 구축된 이상 탐지 및 분류 모델부터 검색 증강 생성(RAG)을 수행하는 앱까지 다양합니다.

LLM을 사용하여 모델 학습을 가속화하세요

도입을 더욱 가속화하기 위해 Agentic AI의 원칙을 가져와 F5 AI Data Fabric에 적용했습니다. 우리는 데이터에 대한 추론을 위해 모델을 훈련하고 배포하고, AI를 사용하여 그 결과에 대한 통찰력을 추론한 다음 작업을 식별하여 완료할 수 있는 시스템을 만들어냈습니다. 간단히 말해, 우리는 대규모 언어 모델을 사용하여 데이터를 생성하고 이를 통해 더 작고 작업별 모델을 훈련하는 데 도움이 됩니다. 훈련 데이터에 라벨을 지정하는 방법이 좋은 예입니다. 이는 데이터 과학자의 엄청난 부담을 덜어줄 수 있습니다. AI 데이터 패브릭은 학습 데이터에 연결하고, 해당 데이터에서 의미를 추출한 다음 AI를 사용하여 추출된 의미에 대해 추론하고, 결과로 생성된 레이블이 지정된 데이터를 다른 곳으로 푸시하기 전에 레이블 지정 작업을 수행합니다.

혜택

쉬운 채택에 대한 이러한 초점이 제품 팀에 미치는 영향은 다음과 같습니다.

  1. 효율성 : AI 데이터 패브릭은 더욱 빠른 협업, 모델 개발 및 배포를 가능하게 합니다.
  2. 규모 : 우리는 수천 개의 모델을 고도로 자동화된 방식으로 제어, 관리 및 유지할 수 있습니다. 
  3. 위험 감소 : 공통적이고 표준화된 데이터 처리 시스템과 자체 모델 실행을 위한 모범 사례를 결합함으로써 훨씬 더 나은 거버넌스를 제공하고, 고객 데이터를 보호하며, 규정 준수를 보장하는 데 도움이 됩니다. 

기대 중

우리는 이미 F5 AI Data Fabric을 활용하여 회사 전반에서 AI 어시스턴트, 분류 모델 교육, 웹앱 및 API 보호(WAAP) 사용 사례에 대한 서명 생성 등 여러 핵심 프로젝트를 실행했습니다. 이러한 뛰어난 기능은 모델 학습, 미세 조정, 배포 및 추론을 위한 AI Data Fabric의 기반 모델과 서비스를 활용합니다.

우리는 F5 AI 데이터 패브릭을 사용하여 고객과 파트너에게 제공할 수 있는 가치에 대해 매우 기대하고 있습니다. 이 부분에 대해서는 더 많은 내용이 있으므로 향후 게시물에서 자세히 다루는 일부 기술, 극복해야 했던 과제, 그리고 가능하게 하는 특정 제품 기능에 대한 내용을 기대해 주시기 바랍니다.