LLM 평가: 보안 점수화를 통한 신뢰 구축

Jessica BrennanAI 보안 부문 수석 제품 마케팅 매니저 | F5

기업의 AI 도입이 가속화되면서 LLM 평가는 더 이상 성능만의 문제가 아니라 신뢰의 문제가 되었습니다. 보안 팀은 모델의 성능뿐만 아니라 모델이 얼마나 안전하게 작동하는지도 검증해야 합니다. 하지만 대부분의 평가 프레임워크는 정확도 벤치마크에 초점을 맞추고 있어, 보안 및 위험 요소는 모호하게 다뤄지거나 측정되지 않는 경우가 많습니다.

이러한 불명확성은 위험합니다. 설명 가능하고 벤치마킹할 수 있는 보안 지표가 없다면 모델을 비교하고 복원력을 입증하거나, AI를 어디에 어떻게 배포할지 위험을 고려해 결정할 신뢰할 만한 방법이 없습니다.

F5는 수개월 동안 엔터프라이즈 보안 리더들과 협력해 왔으며, 이들은 한결같이 다음과 같은 우려를 표했습니다. “점수가 무엇을 의미하고, 어떻게 산출되었으며, 이를 개선하기 위해 무엇을 할 수 있는지 내부 이해관계자들에게 설명할 수 있어야 합니다.”

이 게시물에서는 이제 안전한 생성형 AI 평가의 근간을 이루는 두 가지 상호 보완적 점수인 종합 AI 보안 지수 (CASI)와 에이전틱 저항 점수 (ARS)를 이해함으로써 신뢰를 구축하는 방법을 살펴봅니다.

오늘날 AI 보안 "점수화"의 문제점

기업이 AI 모델을 테스트할 때 흔히 받는 결과는 이분법적 결과, 즉 모델이 뚫렸는지 여부뿐이거나, 모호한 위험 등급, 즉 별다른 세부 정보 없이 낮음/중간/높음으로만 표시된 평가입니다.

AI 시스템이 프로덕션 환경에 도입되어 민감한 데이터, 외부 사용자 또는 다운스트림 에이전트와 상호작용하기 시작하면 어느 접근 방식도 유효하지 않습니다.

보안 책임자에게는 공격 성공률 이상의 정보가 필요하며, 다음 사항을 파악할 수 있어야 합니다:

• 심각도: 성공한 공격은 얼마나 위험한가?
• 복잡성: 모델을 악용하기가 얼마나 어려운가요?
• 맥락: 실제 환경, 멀티턴 또는 애플리케이션 수준에서 사용할 때 제대로 작동하지 않나요?

F5는 AI 시스템 보안의 다양한 계층을 다루기 위한 평가 시스템을 개발했습니다. 이러한 시스템은 기업 위험을 검토하는 기존 보안 프레임워크에 맞춰 설계되었습니다.

평가 체계를 기업 리스크에 맞게 조정

업계 프레임워크와 표준은 조직이 AI 위험을 평가하고 잠재적 취약점을 파악하며 거버넌스 및 보안에 대해 보다 일관된 접근 방식을 수립하는 데 도움이 될 수 있습니다. 대표적인 예로는 LLM 애플리케이션을 위한 OWASP Top 10, NIST AI 위험 관리 프레임워크, ISO/IEC 42001이 있으며, 각각 서로 다른 관점에서 AI 위험을 다룹니다.

LLM 애플리케이션을 위한 OWASP 10대 주요 위험

비영리 재단인 OWASP(Open Worldwide Application Security Project)는 커뮤니티 구성원들의 평가를 바탕으로 LLM 애플리케이션의 10대 위협 목록을 발표합니다. 이 순위는 위험의 영향과 발생 가능성을 모두 반영하기 위한 것이지만, 실무자들의 투표 결과가 실제 공격의 발생 빈도를 반드시 반영하는 것은 아닙니다. 따라서 프롬프트 인젝션은 실무자들이 꼽은 LLM 애플리케이션의 가장 큰 위험이지만, 실제 사고 기준으로는 상위 10위 안에 들지 않습니다.

NIST AI RMF

2023년, 미국 국립표준기술연구소(NIST)는 AI 관련 위험 관리에 대한 실질적인 지침을 제공하는 인공지능 위험 관리 프레임워크(AI RMF)를 발표했습니다.

이 프레임워크는 위험 관리 모범 사례의 일환으로 모델의 행동을 ‘신뢰할 수 있는’ AI의 특성과 ‘피해’의 범주에 따라 평가합니다. 예를 들어, AI 시스템이 정확하고 편향되지 않은 결과(신뢰성에 관한 7가지 척도 중 2가지)를 제공하지 못하거나 개인, 조직 또는 사회에 피해를 줄 가능성(피해에 관한 3가지 척도 모두)이 있다면 위험한 것으로 간주될 수 있습니다. 신뢰성과 피해의 수준에 따라 필요한 조치도 달라집니다.

ISO/IEC 42001:2023

국제표준화기구(ISO)와 국제전기기술위원회(IEC)는 AI 시스템을 책임감 있게 관리하기 위한 표준을 공동으로 발표했으며, 이 표준은 기업 차원의 거버넌스, 책임성 및 운영 통제에 중점을 둡니다. 위험 평가 시 이 표준은 AI의 취약점, 윤리적 문제 또는 운영상의 오류가 조직의 목표, 안전 또는 사회적 의무에 어떤 영향을 미칠 수 있는지 검토하도록 권고합니다. 조직은 점수화 방식(1점에서 5점까지의 척도 사용)을 통해 위험의 발생 가능성과 영향을 평가해야 합니다. 기술적 장애를 일으킬 가능성이 낮은 위험에는 낮은 점수를 부여하고, 규정 준수 위반을 초래할 수 있는 위험에는 높은 점수를 부여합니다. 이렇게 산출된 총 위험도는 조직의 위험 수용 기준에 따라 평가됩니다.

중요한 점은 이 세 가지 프레임워크 중 어느 것도 단순한 통과/실패 방식으로 점수를 매기지 않는다는 것입니다. 모두 위험의 잠재적 심각성과 그 영향을 등급화합니다. 마찬가지로 F5는 LLM을 세분화해 평가하므로, 리더는 모델과 각 모델의 위협 대응 능력을 더욱 면밀하게 비교할 수 있습니다.

CASI: 모델의 보안 DNA

The 종합 AI 보안 지수(CASI)는 단순히 탈옥 성공 여부만 측정하는 데 그치지 않고 팀이 LLM 평가 프로세스에 보안 엄격성을 더할 수 있도록 지원합니다. CASI는 다음 요소를 반영해 기반 모델을 0~100점 척도로 평가합니다:

• 영향의 심각도: 모든 실패가 똑같은 것은 아닙니다. 자격 증명을 노출하는 것은 단순한 상식 문제에 답하는 것보다 더 심각합니다.
• 공격 복잡성: 단순한 표현만으로 무력화되는 모델은 고도의 적대적 전략이 필요한 모델만큼 안전하지 않습니다.
• 방어 체계의 붕괴 지점: 모델의 정렬은 얼마나 빠르게, 어떤 조건에서 무너지는가?

이를 통해 보안 팀은 단순한 테스트를 통과하는 모델이 아니라 복원력이 뛰어난 모델을 선택할 수 있습니다.

예를 들어, Alibaba의 Qwen3는 CASI에서 경쟁력 있는 점수를 기록했으며, 이는 모델 수준의 방어력이 강력함을 시사합니다. 그러나 에이전트 기반 방법으로 테스트했을 때는 더 정교하고 지속적인 공격을 견디지 못했습니다. 이는 모델만을 평가하는 방식의 한계를 보여줍니다.

이러한 결과는 다음에 게시됩니다. F5 Labs, 실제 레드팀 테스트를 기반으로 가장 널리 사용되는 LLM의 순위를 매기며 정기적으로 업데이트되는 공개 리소스입니다. 기존의 성능 차트와 달리, 이 리더보드는 기업이 보안, 위험, 비용 및 시스템 수준의 복원력을 기준으로 모델을 비교할 수 있도록 지원하므로 합리적인 LLM 평가를 위한 핵심 도구입니다.

ARS: 모델이 시스템이 될 때

CASI는 기반 모델의 복원력을 측정하지만 시스템 수준의 동작은 고려하지 않습니다. 이를 보완하는 것이 바로 에이전트 저항성 점수 (ARS)입니다.

ARS는 AI 시스템(에이전트, 검색 도구 또는 오케스트레이션 계층 포함)이 지속적이고 적응적인 공격을 얼마나 잘 견뎌내는지 측정합니다. 이러한 테스트는 다음과 같은 자율 적대적 에이전트에 의해 수행됩니다:

• 실패한 시도에서 학습
• 여러 턴에 걸쳐 공격을 연계하세요
• 숨겨진 프롬프트, 벡터 저장소 및 검색 로직을 표적으로 삼기

0~100점으로 평가되는 ARS는 다음 세 가지 차원을 중심으로 구성됩니다:

1. 요구되는 정교함: 공격자는 얼마나 영리해야 하나요?
2. 방어 지속력: 시스템이 얼마나 오래 버틸 수 있는가?
3. 방첩: 시스템이 초기 위협을 차단하더라도 공격에 유용한 단서를 노출합니까?

ARS 점수가 높다는 것은 AI 시스템이 단독 환경에서만 안전한 것이 아니라는 의미입니다. 실제 위협 행위자들이 이미 현장에서 시험하고 있는 공격을 모방한, 맥락 기반의 에이전트형 공격도 견뎌낼 수 있습니다.

실제 환경의 취약점에 대한 저항력

CASI와 ARS 모델은 모두 실제 환경의 위협에 대한 저항력을 평가합니다. CASI가 프롬프트 인젝션이나 탈옥 공격과 같은 위협에 대한 저항력을 측정하는 반면, ARS는 에이전트가 적절한 승인 없이 작업을 수행하도록 유도되는 경우와 같은 다단계 공격에 대한 저항력을 평가합니다.

이 점수는 매월 리더보드에 게시되며, 모델의 최신 업데이트를 반영합니다. 예를 들어 Anthropic의 Claude Fable 5는 회사가 심각한 탈옥 위협에 대응한 후인 2026년 8월에 처음으로 리더보드에 이름을 올렸습니다.

프롬프트 인젝션의 일종인 탈옥 공격은 모델을 조작해 자체 안전 프로토콜을 위반하도록 만드는 공격입니다. Anthropic이 2026년 6월 Claude Fable 5를 처음 출시했을 때, 연구자들은 이 모델을 탈옥시킬 수 있다는 사실을 빠르게 발견했습니다. Anthropic은 안전 분류기를 재학습시키기 위해 모델 운영을 일시 중단했습니다. 이 조치는 성공을 거두어, 연구자들이 설명한 기법은 이후 99%가 넘는 사례에서 차단되었습니다. 그 결과 이 모델은 8월부터 CASI 리더보드에서 최상위권을 차지했으며, 9월에는 98.03점을 기록했습니다.

물론 새로운 업데이트가 위협에 대한 저항력 향상을 보장하는 것은 아닙니다. xAI의 Grok 4.3은 CASI 점수 70.28점을 기록했습니다. 하지만 새 버전의 성능 점수가 상승했음에도 Grok 4.5의 CASI 점수는 45.20점으로 하락했습니다.

보안 리더에게 CASI와 ARS가 필요한 이유

AI 배포를 평가하는 보안 리더, 특히 RAG 아키텍처, 자율 에이전트 또는 복잡한 오케스트레이션 워크플로가 관련된 경우, 신뢰를 다층적으로 바라볼 필요가 있습니다. CASI는 기반을 선택하는 데 도움을 줍니다. CASI를 통해 모델의 기본 방어 체계가 엔터프라이즈급 애플리케이션에 충분히 견고한지 판단할 수 있습니다. ARS는 배포 환경을 검증합니다. ARS는 기본 모델의 점수가 높더라도 맞춤형 워크플로나 통합 시스템으로 인해 새로운 취약점이 발생하는지 보여줍니다.

투명성이 실행 가능성을 높입니다

점수 평가는 의사결정으로 이어질 때에만 유용합니다. 보안 책임자들은 다음이 필요하다고 말합니다:

• 설명 가능한 점수 산정 방법론으로, 위험 관리 위원회 및 제품 팀과 공유할 수 있어야 합니다.
• 명확한 수치 지표로, 벤치마킹하고 추적하며 개선할 수 있습니다.
• 애플리케이션을 고려한 레드팀 테스트를 통해 시스템 수준의 취약점(단순한 모델 결함이 아닌)을 드러냅니다.

그렇기 때문에 저희는 평가 방법론을 공개하고, 레드팀 보고서에 프롬프트 수준의 로그를 제공하며, 모델과 AI 시스템 모두에 대한 지속적인 보안 테스트를 지원합니다.

AI에 대한 신뢰는 막연한 확신에서 비롯되지 않습니다. 신뢰는 실제 위험을 반영하는 평가, 실제 위협을 재현하는 테스트, 그리고 실질적인 개선으로 이어지는 보고에서 비롯됩니다.

신뢰는 주장하는 것이 아니라 쌓아가는 것입니다

AI의 신뢰성은 이를 평가하고 모니터링하는 프로세스의 신뢰성에 달려 있습니다. 모델과 시스템 수준 모두에서 투명한 보안 점수를 제공하면 보안 팀은 GenAI를 안전하게 배포하는 데 필요한 공통 언어와 근거, 확신을 확보할 수 있습니다.

또한 규제 산업, 고위험 분야 또는 사용자 대면 AI 에이전트를 다루는 기업에는 이러한 확신이 반드시 필요합니다.

자주 묻는 질문

AI 보안 플랫폼이란 무엇이며, 일반적인 사이버 보안만으로는 AI 시스템을 보호하기에 충분하지 않은 이유는 무엇인가요?

표준 사이버 보안 솔루션은 데이터, 애플리케이션 및 네트워크를 효과적으로 보호할 수 있습니다. 하지만 AI 시스템과 에이전트가 직면하는 고유한 유형의 위협에 대응하도록 설계되지는 않았습니다. AI 보안 플랫폼은 무단 액세스, 변조, 악의적인 공격 및 기타 위협으로부터 AI 앱, 서비스, 모델 및 에이전트를 보호하는 데 특화된 기능을 제공합니다.

CASI 및 ARS와 같은 보안 평가 모델은 NIST AI RMF와 같은 프레임워크에 어떻게 부합하나요?

미국 국립표준기술연구소(NIST)의 인공지능 위험 관리 프레임워크(AI RMF)와 같은 프레임워크는 AI의 위험과 신뢰성을 평가하고 관리하기 위한 지침을 제공합니다. 마찬가지로 F5 종합 AI 보안 지수(CASI)와 에이전틱 저항 점수(ARS)는 조직이 모델과 시스템의 복원력을 평가하는 데 도움이 되는 정량적 보안 지표를 제공합니다.

AI 모델 보안과 AI 시스템 보안의 차이점은 무엇인가요?

AI 모델을 보호하면 데이터 포이즈닝, 직접 프롬프트 인젝션 또는 기타 악의적인 행위로 인해 모델이 부정확하거나 유해한 응답을 생성하지 않도록 방지할 수 있습니다. AI 시스템을 보호하려면 모델뿐만 아니라 사용자 인터페이스, 벡터 데이터베이스, 외부 API 통합 등 모델에 연결된 모든 요소도 보호해야 합니다. 이러한 보안은 간접 프롬프트 인젝션, API 하이재킹, 데이터 유출 또는 권한 상승 공격을 방지하는 데 중점을 둘 수 있습니다.

런타임 가드레일은 데이터 유출과 프롬프트 인젝션을 어떻게 방지하나요?

런타임 Guardrails는 사용자, 에이전트 및 API 활동 중 AI 상호작용을 실시간으로 검사하고 보호하여 데이터 유출과 프롬프트 인젝션을 방지합니다. 인바운드 프롬프트와 아웃바운드 응답을 모두 검사해 데이터 유출과 프롬프트 인젝션을 차단할 수 있습니다. Guardrails는 프롬프트 인젝션 시도를 차단하고 민감한 데이터가 모델에 입력되거나 모델에서 출력되지 않도록 보장합니다.

기본 LLM 평가만으로는 RAG 및 에이전트형 AI 아키텍처를 충분히 평가할 수 없는 이유는 무엇인가요?

대규모 언어 모델(LLM)을 평가하는 것은 조직이 AI 기반을 구축하도록 지원하는 데 핵심적입니다. 그러나 조직은 이러한 모델이 검색 증강 생성(RAG)과 자율 에이전트를 통합한 시스템 내에서 어떻게 작동할지도 파악해야 합니다. F5 에이전틱 저항성 점수(ARS)와 같은 프레임워크를 활용하면 맞춤형 워크플로나 통합 시스템이 새로운 취약점을 초래할지 여부를 조직이 더 정확히 이해할 수 있습니다.

작성자 소개

Jessica BrennanAI 보안 부문 수석 제품 마케팅 매니저 | F5

Jessica Brennan의 다른 블로그 게시물