F5 AI Gateway 솔루션 개요

2022년 말 OpenAI가 출시되면서 인공지능(AI) 애플리케이션에 대한 광범위한 연구와 개발이 시작되었습니다. 2023년까지 기업 애플리케이션의 30%가 생성 AI(GenAI) 라벨링을 사용하여 새로운 수익을 창출하고 브랜딩을 재구성할 것으로 추산됩니다.*

AI 애플리케이션은 API(애플리케이션 프로그래머 인터페이스)의 확장된 사용을 기반으로 구축된 이전 세대의 애플리케이션과 다릅니다. AI 애플리케이션은 여전히 상호작용을 위해 API를 사용하지만, 입력과 출력은 비결정적이므로 애플리케이션에서 들어오는 데이터 요청과 응답은 사용자마다 크게 다를 수 있습니다. 여기에 가시성 부족과 인바운드 프롬프트와 아웃바운드 응답의 상관관계가 부족하면 AI가 전달하고자 하는 비즈니스 가치를 무너뜨릴 수 있는 심각한 보안 위험이 발생합니다.

제한된 그룹에게 내부적으로 공개하든, 누구에게나 외부적으로 공개하든 AI 애플리케이션과 모델에 대한 오픈 액세스는 보안 위험을 초래합니다. 사용자는 자신만의 프롬프트를 만들 수 있으며, 이는 다양한 공격, 조작 또는 의도치 않은 오용으로 이어질 수 있습니다. 공격이나 조작의 예로는 모델 서비스 거부(DoS), 즉각적인 주입, 민감한 정보 공개, 모델 도용 등이 있습니다. 민감한 정보 공개는 회사의 기밀 데이터나 고객의 개인 식별 정보(PII) 형태로 이루어질 수 있으며, 이는 매우 큰 피해를 줄 수 있으며 소송이나 고객 신뢰 상실로 이어질 수 있습니다. 더욱이 AI 환각은 직원과 고객 모두에게 문제를 일으킬 수 있으며 값비싼 자원을 쉽게 소모하게 됩니다.

^{* Gartner의 2025년 및 그 이후를 위한 최고 전략적 예측: AI 회오리 바람을 타고; 2024년 10월 21일}

F5 AI Gateway는 공격을 완화하고 중요 정보의 노출을 방지하는 동시에 AI 애플리케이션에 대한 액세스를 보호하고 최적화하도록 설계되었습니다.

AI 공격으로부터 보호

AI Gateway는 즉각적인 주입, 안전하지 않은 출력 처리, 모델 서비스 거부, 민감한 정보 공개, 모델 도용과 같은 인바운드 공격을 검사, 식별 및 차단합니다. 아웃바운드 응답의 경우 AI Gateway는 PII 데이터를 식별하고 삭제하며 환각을 방지합니다. 소프트웨어 개발 키트(SDK)를 사용하면 프롬프트와 응답에 대한 운영 규칙과 규정 준수 요구 사항을 추가로 시행하여 운영 요구 사항에 더욱 부합할 수 있습니다.

AI 애플리케이션 성능 극대화 및 비용 절감

AI Gateway는 로컬 및 타사 대규모 언어 모델(LLM)에 대한 트래픽 라우팅 및 속도 제한을 제공하여 서비스 가용성과 성능을 유지하고 비용을 제어합니다. LLM에서 중복된 작업을 제거하여 더 빠른 응답 시간을 제공하고 운영 비용을 줄이는 의미 캐싱을 통해 사용자 경험이 더욱 향상됩니다.

어디에나 AI 보안을 구축하세요

AI Gateway는 Kubernetes 기반이므로 퍼블릭 클라우드, 프라이빗 클라우드 플랫폼 또는 온프레미스 데이터 센터에 배포할 수 있습니다. OpenAI, Anthropic, Ollama 등의 인기 있는 AI 모델과 일반 HTTP 업스트림 LLM 및 소규모 언어 모델(SLM) 서비스가 지원됩니다.

거버넌스 및 규정 준수를 위한 관찰 가능성 및 감사 추적

OpenTelemetry 지원을 통해 거래와 보안 이벤트의 모든 지표, 로그, 추적 정보를 확인할 수 있습니다. 또한 LLM/SLM 토큰 수, 요청 볼륨, 시스템 리소스 활용도, 성능과 같은 포괄적인 측정 항목도 제공합니다. 보안 규정 준수를 위해 AI Gateway 구성은 감사 데이터 내보내기를 통해 손쉽게 사용할 수 있습니다.