F5 AI Gateway 솔루션 개요

어디에나 AI 애플리케이션을 배포하고 보안과 최적화를 보장하여 이상적인 사용자 경험을 제공하세요.

AI 애플리케이션은 다양한 보호 및 운영 과제를 제시합니다.

2022년 말 OpenAI가 출시되면서 인공지능(AI) 애플리케이션에 대한 광범위한 연구와 개발이 시작되었습니다. 2023년까지 기업 애플리케이션의 30%가 생성 AI(GenAI) 라벨링을 사용하여 새로운 수익을 창출하고 브랜딩을 재구성할 것으로 추산됩니다.*

AI 애플리케이션은 API(애플리케이션 프로그래머 인터페이스)의 확장된 사용을 기반으로 구축된 이전 세대의 애플리케이션과 다릅니다. AI 애플리케이션은 여전히 상호작용을 위해 API를 사용하지만, 입력과 출력은 비결정적이므로 애플리케이션에서 들어오는 데이터 요청과 응답은 사용자마다 크게 다를 수 있습니다. 여기에 가시성 부족과 인바운드 프롬프트와 아웃바운드 응답의 상관관계가 부족하면 AI가 전달하고자 하는 비즈니스 가치를 무너뜨릴 수 있는 심각한 보안 위험이 발생합니다.

제한된 그룹에게 내부적으로 공개하든, 누구에게나 외부적으로 공개하든 AI 애플리케이션과 모델에 대한 오픈 액세스는 보안 위험을 초래합니다. 사용자는 자신만의 프롬프트를 만들 수 있으며, 이는 다양한 공격, 조작 또는 의도치 않은 오용으로 이어질 수 있습니다. 공격이나 조작의 예로는 모델 서비스 거부(DoS), 즉각적인 주입, 민감한 정보 공개, 모델 도용 등이 있습니다. 민감한 정보 공개는 회사의 기밀 데이터나 고객의 개인 식별 정보(PII) 형태로 이루어질 수 있으며, 이는 매우 큰 피해를 줄 수 있으며 소송이나 고객 신뢰 상실로 이어질 수 있습니다. 더욱이 AI 환각은 직원과 고객 모두에게 문제를 일으킬 수 있으며 값비싼 자원을 쉽게 소모하게 됩니다.

* Gartner의 2025년 및 그 이후를 위한 최고 전략적 예측: AI 회오리 바람을 타고; 2024년 10월 21일

AI Gateway로 위험을 완화하면서 AI 애플리케이션 극대화

F5 AI Gateway는 공격을 완화하고 중요 정보의 노출을 방지하는 동시에 AI 애플리케이션에 대한 액세스를 보호하고 최적화하도록 설계되었습니다.

AI 공격으로부터 보호

AI Gateway는 즉각적인 주입, 안전하지 않은 출력 처리, 모델 서비스 거부, 민감한 정보 공개, 모델 도용과 같은 인바운드 공격을 검사, 식별 및 차단합니다. 아웃바운드 응답의 경우 AI Gateway는 PII 데이터를 식별하고 삭제하며 환각을 방지합니다. 소프트웨어 개발 키트(SDK)를 사용하면 프롬프트와 응답에 대한 운영 규칙과 규정 준수 요구 사항을 추가로 시행하여 운영 요구 사항에 더욱 부합할 수 있습니다.

AI 애플리케이션 성능 극대화 및 비용 절감

AI Gateway는 로컬 및 타사 대규모 언어 모델(LLM)에 대한 트래픽 라우팅 및 속도 제한을 제공하여 서비스 가용성과 성능을 유지하고 비용을 제어합니다. LLM에서 중복된 작업을 제거하여 더 빠른 응답 시간을 제공하고 운영 비용을 줄이는 의미 캐싱을 통해 사용자 경험이 더욱 향상됩니다.

어디에나 AI 보안을 구축하세요

AI Gateway는 Kubernetes 기반이므로 퍼블릭 클라우드, 프라이빗 클라우드 플랫폼 또는 온프레미스 데이터 센터에 배포할 수 있습니다. OpenAI, Anthropic, Ollama 등의 인기 있는 AI 모델과 일반 HTTP 업스트림 LLM 및 소규모 언어 모델(SLM) 서비스가 지원됩니다.

거버넌스 및 규정 준수를 위한 관찰 가능성 및 감사 추적

OpenTelemetry 지원을 통해 거래와 보안 이벤트의 모든 지표, 로그, 추적 정보를 확인할 수 있습니다. 또한 LLM/SLM 토큰 수, 요청 볼륨, 시스템 리소스 활용도, 성능과 같은 포괄적인 측정 항목도 제공합니다. 보안 규정 준수를 위해 AI Gateway 구성은 감사 데이터 내보내기를 통해 손쉽게 사용할 수 있습니다.

AI 게이트웨이 다이어그램

AI Gateway는 AI 애플리케이션을 보호하고 최적화합니다.

AI는 애플리케이션 진화의 다음 흐름을 나타내지만, 이점을 쉽게 능가할 수 있는 심각한 과제도 제시합니다. AI 애플리케이션에 들어오는 메시지는 리소스에 대한 공격이거나 데이터를 빼돌리려는 의도일 수 있으므로, AI 애플리케이션을 보호하는 것이 무엇보다 중요합니다. 배포 및 LLM/SLM 지원의 유연성은 출시 기간 및 비용 관리만큼 중요합니다. AI 애플리케이션은 수신 메시지를 통한 공격을 완화하고 민감한 데이터나 환각의 유출을 막기 위해 진화된 보안 솔루션이 필요합니다. 모든 거래에 대한 가시성을 통해 비용 관리, 거버넌스 및 규정 준수가 일상 운영에 내장되도록 보장합니다.

주요 이점
AI 앱을 보호하세요
  • 즉각적인 주입, 안전하지 않은 출력 처리, 민감한 정보 공개와 같은 인바운드 공격은 물론 모델 도용도 식별하고 차단합니다.

AI 상호작용 최적화

  • 로컬 및 타사 SLM과 LLM에 대한 트래픽 라우팅, 캐싱, 속도 제한을 통해 성능을 유지하고 서비스 가용성을 높이며 비용을 제어합니다. 

AI 보안은 어디에서나 가능

  • 어디에서나 Kubernetes 인스턴스에 AI Gateway를 배포하여 보안 및 성능 서비스를 빠르게 구축하세요.

주요 특징
공격으로부터 보호
  • 수신 메시지와 발신 응답에 대한 보안 및 운영 정책을 검사하고 시행합니다.

데이터 유출을 막다

  • 민감한 데이터나 PII 데이터를 실시간으로 식별하고 정리하여 의도치 않은 정보 공개를 방지합니다.

대응을 최적화하고 운영 비용을 절감하세요

  • 의미 캐싱을 사용하면 SLM 및 LLM 토큰을 사용하지 않고도 프롬프트에 대한 빠른 답변을 얻을 수 있습니다. 

비즈니스 요구에 맞게 사용자 정의 가능

  • 소프트웨어 개발 키트(SDK)를 사용하면 조직 및 규정 준수 요구 사항에 더 잘 부합하도록 인바운드 프롬프트와 아웃바운드 응답을 사용자 정의 방식으로 처리할 수 있습니다.