올해 상반기에는 추론 배포 패턴과 새롭게 부상하는 AI 애플리케이션 아키텍처가 모두 표준화되기 시작하면서 네트워크부터 애플리케이션 제공 및 보안에 이르기까지 향후 미칠 영향을 더욱 명확하게 전망할 수 있게 되었습니다. 당사는 최근 AI 중심 연구 결과를 바탕으로, 추론이 온프레미스와 클라우드에 배포되는 방식(자체 관리형 패턴)뿐 아니라 클라우드 제공업체의 솔루션을 통해 이용하는 방식(클라우드 호스팅형 패턴)과 서비스로 이용하는 방식(서비스형 추론 패턴)으로도 활용될 것이라고 확신합니다.
하지만 새롭게 부상하는 AI 아키텍처는 데이터 소스(지식 그래프 및 벡터 데이터베이스)를 애플리케이션 아키텍처에 통합하는 검색 증강 생성(RAG)에 크게 의존합니다. 연구에 따르면 “생성형 AI를 활용하는 기업의 70%가 도구와 벡터 데이터베이스를 사용해 기본 모델을 보강합니다.” (Databricks, 2024)
이러한 아키텍처 패턴은 네 가지 결과를 가져옵니다.
- 최신 애플리케이션 워크로드의 수를 늘립니다(기업 내에서).
- 보안이 필요한 API의 수를 대폭 늘립니다.
- E-W 데이터 경로의 전략적 중요성이 애플리케이션 제공 및 보안 기술에서 더욱 커집니다.
- 새로운 계층 도입: 애플리케이션 아키텍처에 추론 계층을 추가합니다. 이는 초기 AI 기술 스택에서 언급된 ‘모델’ 계층에 해당하지만, AI 애플리케이션을 운영할 때는 학습 중인 모델(개발 프로세스)과 운영 중인 모델(실행 프로세스)을 구분하는 것이 도움이 됩니다.
조직이 AI 아키텍처와 관련하여 직면하는 과제의 90%는 새로운 것이 아니라는 점에 주목해야 합니다. 가시성, 요청 속도 제한, 라우팅 등에 대한 기대를 충족하기 위한 변화는 대부분의 기업이 이미 보유한 기존 기능을 점진적으로 개선하는 수준입니다.
AI 애플리케이션을 제공하고 보호하는 데 필요한 모든 기능 중 완전히 새로운 기능은 10%에 불과하며, 그중 거의 대부분은 프롬프트 및 AI 애플리케이션 트래픽의 비정형적 특성과 관련되어 있다고 생각합니다. 바로 이 10%로 인해 데이터 보안 관련 기능과 더불어 프롬프트 보안, 프롬프트 관리, 프롬프트 최적화와 같은 새로운 애플리케이션 서비스가 등장하고 있습니다. F5는 이미 Portkey 및 Prompt Security와의 파트너십을 통해 이러한 요구 사항을 해결하겠다는 의지를 보여주었습니다.
바로 이러한 영역에서 AI 게이트웨이도 등장하고 있습니다. AI 게이트웨이의 정의와 시장에 제공하는 기능은 이를 제공하는 업체에 따라 다르지만, AI 게이트웨이는 API 게이트웨이와 마찬가지로 보안 및 애플리케이션 라우팅 기능을 통합하여 조직에 단일한 전략적 제어 지점을 제공하는 경향이 있습니다. 하지만 여기서도 AI 게이트웨이에 포함된 기능 중 새롭게 추가된 것은 대부분 AI 트래픽에 특화된 기능이며, 나머지는 기존에 존재하던 기능입니다.

제게 정말 흥미로운 것은 새로운 계층입니다. 새로운 애플리케이션 제공 및 보안 기능과 기존 기능이 바로 이 계층에서 필요해질 것이기 때문입니다.
실제로 새로운 계층이 도입되면서 새로운 데이터 센터 아키텍처가 등장하고 있습니다. 이 아키텍처는 대규모 AI 추론을 실행하는 데 필요한 컴퓨팅, 스토리지 및 네트워크 리소스를 제공할 수 있는 인프라를 갖추고 있습니다. 이 계층에서는 AI 네트워크 패브릭이나 AI 팩토리 등 앞으로 어떤 이름으로 불리게 될지 모를 새로운 형태의 인프라가 등장하고 있습니다. 명칭이 무엇이든 이 새로운 인프라 구조는 새로운 하드웨어 시스템에서 기존 인프라 구조를 운영하는 기능을 포함합니다. 제시된 이해하기 쉬운 도표의 4번 항목이 바로 이것입니다.
하지만 2번에서도 몇 가지 새로운 기능이 필요합니다. 여기서 연결 구간은 상당히 표준적인 남북(N-S) 데이터 경로로, API 트래픽의 확장성 확보, 보안, 라우팅이 필요하다는 점은 분명합니다(물론 추론용 API이지만, 여전히 API입니다). 다만 이 지점에서는 새로운 로드 밸런싱 알고리즘이 등장하거나, 적어도 기존 알고리즘에 새로운 판단 기준이 도입될 가능성이 높습니다.
예를 들어, 토큰 수와 컨텍스트 윈도우는 성능과 개별 요청이 수신 시스템에 가하는 부하를 파악하는 데 특히 중요하며, 토큰 수가 비용에 미치는 영향 역시 빼놓을 수 없습니다. 따라서 이러한 변수들이 #2 지점에서 이루어지는 부하 분산 및 트래픽 라우팅 결정의 고려 요소가 될 수 있다는 점은 충분히 예상할 수 있습니다.
4번 항목은 하드웨어를 활용해 서버의 네트워크 작업을 오프로드하던 시절로 돌아간다는 점에서 아마 가장 흥미로울 것입니다. 그렇습니다. 바로 “서버가 본연의 역할에 집중하도록 하자”라는 아키텍처 접근 방식의 귀환입니다. 오늘날에는 DPU를 애플리케이션 전송 및 보안 기능을 배포할 수 있는 통합 시스템으로 활용하고, 추론 서버의 CPU는 말 그대로 추론에만 집중하도록 한다는 의미입니다. 이는 이전에도 본 적이 있는 패턴이며, 추론 서비스의 확장성과 그에 따른 성능 문제를 성공적으로 해결할 수 있는 방식입니다.
AI 아키텍처가 애플리케이션 전송 및 보안에 미치는 영향은 평범하면서도 중대합니다. 해결해야 할 과제가 대부분 기존과 같다는 점에서는 평범합니다. 하지만 조직이 이러한 과제에 전략적으로 대응할 수 있는 지점을 아키텍처 내에 추가로 마련해 준다는 점에서는 중대한 의미를 지닙니다.
업계가 일상적인 과제와 중대한 변화에 어떻게 대응하느냐에 따라 애플리케이션 제공 및 보안의 미래가 결정될 것입니다.
작성자 소개

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.
Lori Mac Vittie의 다른 블로그 게시물관련 블로그 게시물
AI 시대의 새로운 애플리케이션 제공 원칙으로 복잡성 극복하기
보안, 일관성, 완전 자동화에 중점을 둔 애플리케이션 제공의 새로운 6가지 원칙을 도입하여 복잡성 없이 하이브리드 멀티클라우드의 유연성을 누리세요.
디지털 혁신을 가속화하는 6가지 기술 역량
오늘날의 엔터프라이즈 아키텍처에는 기술 변화를 주도하는 데 핵심적인 민첩성, 확장성, 보안 및 관찰 가능성이 부족하지만, 이 여섯 가지 핵심 역량은 기업이 디지털 혁신 전반에 걸쳐 위험과 과제를 관리하는 데 도움이 될 것입니다.
하이브리드 근무가 ID 중심 보안으로의 전환을 이끌고 있습니다
자동화와 디지털화의 폭발적인 성장에 하이브리드 근무 모델로의 전환 추세가 더해지면서, IP 기반 보안에서 벗어나 ID 기반 액세스 전략으로 전환하는 움직임이 더욱 가속화될 것입니다.
관점의 현대화: 애플리케이션에서 경험으로
그리스와 로마의 신들처럼, 여러 신화에서도 동일한 존재가 다양한 모습으로 나타나는 것을 볼 수 있습니다. 본질적으로 각각의 화신은 기존 존재가 새로운 얼굴로 드러난 것입니다. 디지털 세계에서도 이와 비슷한 양상이 나타납니다. 우리가 ‘애플리케이션’이라고 부르는 것들은 흔히 기존 기능이 새로운 형태로 구현된 것이라 볼 수 있습니다.
코로나19 이후 기업 결제의 디지털 전환
디지털 결제는 과거의 현금만큼이나 보편화되었습니다. 코로나19 팬데믹으로 인한 봉쇄 조치는 소비자의 디지털 결제 서비스 의존도를 더욱 빠르게 높였습니다. 기업의 디지털 결제 도입 역시 가속화되었습니다. 대중을 상대로 영업하든 하지 않든 기업에는 여전히 지급해야 할 대금과 받아야 할 대금이 있기 때문입니다.
공급망 해킹과 보안에서 하드웨어의 역할
수석 아키텍트 Dave Schmitt와 CTO 오피스가 최근 Bloomberg의 Super Micro 관련 기사를 계기로 하드웨어 보안 전문성의 중요성을 되짚어봅니다. 또한 이 글에서는 시스템이 안전하게 보호되고 있는지 확인하기 위해 공급업체에 물어봐야 할 질문도 소개합니다.