AI 비용과 보안은 라우팅의 문제다

F5 리서치 | 2026년 11월 10일

간단한 게임을 해보겠습니다. 여러분은 글로벌 AI 서비스를 운영하고 있습니다. 독일에 있는 사용자가 여러분의 챗봇에 간단한 질문을 합니다. 이 요청은 어디로 보내야 할까요?

어디에 있든 사용 가능한 가장 가까운 GPU로 보내야 할까요?
방금 미국 데이터 센터에 배포한, 성능은 엄청나지만 비용도 어마어마한 새 모델로?
데이터 현지화 법규를 준수하면서도 질문에 충분히 답할 수 있는, 프랑크푸르트에 호스팅된 더 작고 저렴한 CPU 기반 모델로?

즉시 확신 있게 답할 수 없더라도, 여러분만 그런 것은 아닙니다. 하지만 그만큼 막대한 비용을 낭비하고 위험에 노출되어 있을 가능성도 큽니다. 단순하지만 흔히 간과되는 모델 라우팅이라는 메커니즘이 성공적인 AI 전략과 비용만 많이 들고 보안에 취약한 실험적 프로젝트를 가르는 기준으로 빠르게 자리 잡고 있습니다.

그리고 최신 설문조사 데이터에 따르면 대부분의 조직은 그 경계선의 잘못된 쪽에 서 있습니다.

AI 스택의 과소평가된 주역

AI 모델 서빙에서 가장 큰 어려움이 무엇인지 물으면, 예상대로 보안 및 가드레일(48%), GPU 비용(43%), 데이터 레지던시(23%)가 상위권을 차지합니다. 하지만 "여러 모델이나 버전 간 트래픽 라우팅"의 어려움에 관해 물으면, 이를 주요 문제로 꼽는 응답자는 13%에 불과해 거의 주목받지 못합니다.

이는 나무만 보고 숲은 보지 못하는 전형적인 사례입니다.

조직들은 자신들에게 "라우팅" 문제가 있다고 생각하지 않습니다. 대신 "비용" 문제나 "보안" 문제가 있다고 생각합니다. 하지만 실제로는 비용과 보안 문제를 유발하는 라우팅 문제가 있는 것입니다. API 게이트웨이, 인그레스 컨트롤러, 서비스 메시 같은 도구를 갖추고 있지만, 이를 AI 운영의 맥락을 이해하고 전략적으로 판단하는 두뇌가 아니라 단순히 트래픽을 통제하는 교통경찰처럼 사용하고 있습니다.

전략적 라우팅으로 AI 운영의 가장 큰 골칫거리를 해결하는 방법

이제 전체적인 맥락을 살펴보겠습니다. 지능적인 컨텍스트 인식 모델 라우팅은 단순히 요청을 A 지점에서 B 지점으로 전달하는 것이 아닙니다. 비용, 보안, 성능, 규정 준수를 고려해 요청을 적합한 B 지점으로 전달하는 것이 핵심입니다.

GPU 비용이라는 거대한 난제 해결하기

GPU 비용과 활용률이 두 번째로 큰 과제로 꼽히는 데는 이유가 있습니다. GPU는 눈이 휘둥그레질 만큼 비싸기 때문입니다. 단순한 요청을 처리하는 데 최상급 GPU를 쓰는 것은 호두 하나를 깨려고 대형 망치를 휘두르는 것과 같습니다. 전략적 라우팅은 이 문제에 직접적인 해결책을 제시합니다:

비용 기반 라우팅: 요청을 가장 비용 효율적인 컴퓨팅 리소스로 전달합니다. 간단한 쿼리는 CPU 기반 모델로 처리하고, 고가의 GPU는 복잡하고 가치가 높은 작업에 활용할 수 있도록 확보해 둡니다.
사용률 기반 라우팅: 사용 가능한 모든 리소스에 부하를 분산하여 사용률을 극대화하고, 유휴 상태로 비용만 소모하는 하드웨어를 없애세요.

이러한 지능형 기능이 없다면, 가장 비용이 많이 드는 자원에 요청을 무작위로 보내는 것에 불과합니다.

실질적인 보안 경계 구축

보안이 가장 큰 과제인 데는 그만한 이유가 있습니다. 가드레일을 어떻게 강제 적용할 수 있을까요? 프롬프트에 악의적인 입력이 있는지 어떻게 검사할 수 있을까요? 바란다고 정책이 저절로 생기는 것은 아닙니다. 트래픽이 정책 적용 지점을 거치도록 물리적으로(정확히는 디지털 방식으로) 경로를 지정해야 합니다.

정책 적용: 프롬프트에 가드레일을 적용하고 싶으신가요? 먼저 요청을 해당 서비스로 라우팅해야 합니다. 이는 조직의 53%가 도입하려는 "프롬프트 및 응답 검사"를 구현하기 위한 기본 요건입니다.
이그레스 제어: "외부 모델 제공업체로의 아웃바운드 호출에 대한 이그레스 제어"(응답자의 62%가 사용하는 제어 방식)를 적용하는 유일한 방법은 트래픽이 네트워크를 벗어나기 전에 이를 관리하고 검사하는 라우팅 계층을 두는 것입니다.

전략적 라우팅은 보안 도구를 단순히 보유하는 것과 실제로 효과적으로 활용하는 것의 차이를 만듭니다.

데이터 레지던시의 생명줄

데이터 레지던시와 데이터 주권 문제로 어려움을 겪는 23%의 조직에 모델 라우팅은 단순히 있으면 좋은 기능이 아니라 규정 준수를 위한 필수 요소입니다. 지리적 위치를 고려한 라우팅은 EU 내 사용자의 요청을 EU 데이터 센터에서 실행되는 모델이 처리하도록 하여, 사용자 데이터가 GDPR에서 정한 법적 경계를 벗어나지 않도록 합니다.

진짜 문제: 파편화된 정책이 스마트 라우팅을 가로막는다

그렇다면 라우팅이 이토록 마법 같은 해결책인데도 제대로 작동하지 않는 이유는 무엇일까요? 지역적 사고방식으로는 글로벌 전략을 실행할 수 없기 때문입니다.

저희 데이터에서 우려스럽지만 예상 가능한 상관관계가 드러났습니다. 이러한 핵심 AI 과제 해결에 가장 큰 어려움을 겪는 조직들은 정책 관리가 파편화되어 있었습니다. 각 팀이 자체 규칙을 정하거나 중앙 지침을 저마다의 방식으로 "해석"하는 조직들이었습니다.

[번외 과제: 콘웨이의 법칙과 AI 확장의 관계를 다룬 이 글을 읽고, 팀별로 제각각인 정책이 왜 문제의 일부인지 생각해 보세요. 자, 읽어 보세요. 기다릴게요.]

맞습니다. 동부 지역 팀과 서부 지역 팀이 서로 다른 방식으로 트래픽을 라우팅한다면 일관적이면서 비용을 절감하고 보안까지 확보하는 모델 라우팅 전략을 수립할 수 없습니다. 전체 체계가 무너지기 때문입니다. 라우팅의 이점을 제대로 활용하려면 모든 트래픽과 정책을 일관된 관점에서 전역적으로 파악할 수 있는 중앙 집중식 제어 지점이 필요합니다.

대부분의 조직은 이미 필요한 기술적 역량을 갖추고 있으며, 절반 이상이 API 게이트웨이와 인그레스 컨트롤러를 사용하고 있습니다. 부족한 것은 전략입니다.

라우팅을 그저 일상적인 운영상의 세부 사항으로 여기는 데서 벗어나, AI 투자 전체의 성패를 좌우할 전략적 수단으로 다뤄야 할 때입니다. 사실 이미 한참 늦었습니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물