F5 BIG-IP v21.0, S3 워크플로를 위한 AI 데이터 전송 및 수집 기능 강화

F5 ADSP | 2025년 11월 18일

Amazon S3는 현대 인프라의 판도를 바꿨습니다. 객체 스토리지를 컴퓨팅과 분리함으로써 S3는 애플리케이션 팀이 간단한 API로 내구성이 뛰어난 스토리지 용량을 합리적인 비용에 이용할 수 있게 했습니다. 그에 못지않게 중요한 것은 한곳에서 생성되고 다른 곳에서 소비되는 데이터를 위한 중립적인 거점을 제공했다는 점입니다. 이 모델은 AI 파이프라인의 근간이 되었습니다. 학습 데이터는 버킷에 저장되고, 파인 튜닝 데이터 세트는 버전별 접두사로 관리되며, 인덱서는 검색 증강 생성(RAG)에 필요한 지식 코퍼스를 온종일 가져옵니다.

AI 환경의 규모가 커지면 애플리케이션을 S3 호환 오브젝트 스토어에 연결하는 것만으로는 충분하지 않습니다. 기업에는 데이터 이동을 예측 가능하고 빠르며 안전하게 만드는 전송 계층이 필요합니다. 바로 AI 데이터 전송이 해결하는 과제입니다. 즉, 적절한 데이터가 오브젝트 스토어에 안전하게 도달하고, 적합한 기반 정책과 사이트 간 복원력을 바탕으로 AI 모델 파운드리 워크플로에 안정적으로 전달되도록 하는 것입니다. 이를 통해 학습, 미세 조정, RAG 워크플로를 일정대로 진행할 수 있습니다. 스토리지 앞단에 배치하는 애플리케이션 전송 컨트롤러(ADC)는 비즈니스와 기술 측면에서 필수적입니다. ADC는 트래픽 급증으로부터 오브젝트 스토어를 보호하고, 처리량을 안정화해 클러스터의 신뢰성을 보장하며, 하이브리드 멀티클라우드 S3 배포 환경 전반의 거버넌스를 중앙에서 관리하는 제어 지점입니다.

데이터 저장소 앞에 F5 BIG-IP를 배치해야 하는 이유는 무엇인가요?

오늘날의 AI 스토리지는 과거의 웹 트래픽을 훨씬 더 극단적으로 확대한 모습과 같습니다. 데이터 수집은 순간적으로 폭증하고(예: 병렬 쓰기, 멀티파트 업로드), 읽기는 무작위로 발생하며, 유지 관리 작업은 끊임없이 이어집니다(예: 노드 재구축, 컴팩션, 계층화). 이처럼 예측할 수 없는 패턴에 대응하려면 애플리케이션을 기반 스토리지와 분리하여 서비스 중단과 엔드포인트 변동으로부터 워크로드를 보호하는 아키텍처가 필요합니다. 이러한 전용 전송 계층이 없으면 기업은 다음과 같은 여덟 가지 공통 문제에 직면합니다:

  1. 로컬 복원력 문제: 단 하나의 노드가 느려지거나 재구축 중이어도 작업 처리량에 지장을 줄 수 있습니다. F5 BIG-IP는 카나리아 키에 대한 S3 HEAD/GET 검사와 같은 맞춤형 상태 모니터링, 정책 기반 부하 분산, 연결 드레이닝을 통해 이러한 문제를 완화하여 유지보수 중에도 장시간 실행되는 전송이 중단 없이 지속되도록 합니다.
  2. 수동 글로벌 복원력: F5 BIG-IP DNS는 상태, 근접성 및 비즈니스 정책을 기반으로 클라이언트를 최적의 사이트로 자동 라우팅합니다. 애플리케이션 엔드포인트를 변경할 필요 없이 클러스터 또는 리전 장애 조치를 원활하게 처리합니다.
  3. 객체 및 메타데이터 수준의 서비스 품질 및 속도 제한: BIG-IP는 버킷, 객체 유형, 크기, 태그를 기준으로 트래픽을 검사하고 구분합니다. 우선순위가 높은 요청을 우선 처리하도록 우선순위가 낮은 요청의 속도를 제한하여, 혼잡하거나 용량을 초과한 네트워크에서 시간 초과와 재시도를 방지합니다.
  4. 위험한 업그레이드: 스토리지 소프트웨어 업그레이드는 워크플로를 중단시킬 수 있습니다. BIG-IP는 업그레이드 대상 풀의 트래픽을 점진적으로 비우고 상태 확인을 통과할 때까지 트래픽을 안정적인 시스템 버전으로 일시적으로 고정하여 안전한 블루/그린 또는 롤링 업그레이드를 지원합니다.
  5. 복제 트래픽 혼잡: 수요가 높은 시기에는 리전 간 동기화 및 클러스터 복제 과정에서 병목 현상이 발생할 수 있습니다. BIG-IP는 트래픽의 우선순위를 지정하고 전송률을 조절하여 복제 프로세스가 AI 모델 워크로드의 성능을 저해하지 않도록 합니다.
  6. 일관되지 않은 TLS 보안 태세: BIG-IP는 오프로드, 재암호화 또는 패스스루를 처리하여 TLS 관리를 중앙 집중화합니다. 일관된 암호화 정책과 완전 순방향 비밀성(PFS)을 적용하고 필요한 경우 mTLS를 적용하여 스토리지 구성을 간소화하고, 다음 플랫폼의 SSL 가속을 통해 원활한 확장을 지원합니다: F5 rSeries 및 F5 VELOS.
  7. 포스트 양자 암호화(PQC) 방어: BIG-IP를 통해 조직은 전송 중인 데이터에 PQC를 지원하고, '지금 수집하고 나중에 해독하는' 공격과 같은 미래 양자 컴퓨터를 활용한 공격으로부터 데이터를 보호함으로써 미국 국립표준기술연구소(NIST) 및 EU 디지털 운영 복원력법(DORA)의 권고 사항을 준수할 수 있습니다.
  8. S3 프로토콜 방어: BIG-IP는 인젝션, 권한 상승, 버킷 탈취, 자격 증명 또는 사전 서명된 URL 재사용, 계정 탈취 등의 S3 프로토콜 공격이 백엔드에 도달하기 전에 이를 탐지하고 차단합니다.

BIG-IP v21.0에 S3 데이터 전송 프로파일 도입

BIG-IP 버전 21.0은 가상 서버를 프로덕션 환경에 바로 사용할 수 있는 S3 진입점으로 손쉽게 전환하도록 설계된 S3 TCP/TLS 프로파일을 제공합니다. 이 프로파일은 고대역폭 경로에 적합한 TCP 설정을 제공하고, 멀티파트 업로드와 재시도를 지원하도록 HTTP/S3 동작을 최적화하며, 엄격한 메서드 허용 목록과 선택적 mTLS 같은 보안 보호 장치를 구현합니다. 이를 통해 클러스터 설정부터 AI 파이프라인의 완전한 가동까지의 과정을 간소화하여 설정에 걸리는 시간을 며칠에서 몇 분으로 단축합니다.

AI 데이터 전달의 실제 활용

다음 데모에서는 BIG-IP가 빠른 설정을 넘어 지속적인 운영 가치를 제공하는 방법을 보여줍니다. 인프라 변경과 무관하게 S3 데이터 전송을 추상화하고, 프로그래밍 가능한 정책을 통해 동적으로 제어하며, 클러스터 부하로부터 보호하는 방법을 살펴봅니다. 이러한 예시를 통해 전용 전송 계층이 AI 파이프라인의 예측 가능성, 확장성, 보안을 어떻게 보장하는지 확인할 수 있습니다.

데모 1: 수명 주기 추상화


이 데모에서는 스토리지 환경이 변화해도 애플리케이션이 연결을 유지하며 중단 없이 작동하는 방식을 보여줍니다. 엔드포인트를 추상화하면 애플리케이션을 재구성할 필요 없이 클러스터 수명 주기 변화, 공급업체 변경, 버전 업그레이드 또는 클러스터 확장 중에도 워크로드의 복원력을 유지할 수 있습니다. 또한 관측 가능성을 통해 성능 및 규정 준수에 관한 인사이트를 얻을 수 있습니다.

데모 2: 데이터 플레인 프로그래밍 기능


여기서는 데이터 플레인 수준에서 정책과 라우팅을 동적으로 조정하는 방법을 보여줍니다. 이러한 유연성을 통해 기업은 세밀한 제어를 적용하고, 비즈니스 요구 사항에 맞게 트래픽 패턴을 조정하며, 위험을 관리하면서 환경 간 전환을 지원할 수 있습니다.

데모 3: 핫스팟 예방


마지막 데모에서는 고급 모니터링과 지능형 부하 분산을 통해 핫스팟을 줄이고 과부하 상황에서 클러스터를 보호하는 방법을 보여줍니다. 기업은 워크플로가 중단되기 전에 장애를 감지하고 과부하된 노드를 회피함으로써 일관된 처리량을 유지하고 핵심 AI 파이프라인을 보호할 수 있습니다.

실무자를 위한 설계 참고 사항

S3 호환 스토리지 클러스터는 확장 가능한 AI, 머신 러닝 및 데이터 기반 애플리케이션을 지원하지만, 핫스팟 발생, 노드 유지보수, 트래픽 패턴 변화, 부하가 높은 워크로드에서의 복원력 확보와 같은 내재적 과제가 따릅니다. BIG-IP는 유연하고 프로그래밍 가능한 트래픽 관리 기능을 제공하여 이러한 과제를 효율적으로 해결합니다. 다음은 S3 환경에 맞게 BIG-IP를 최적화하고 확장성과 성능을 확보하며 유지보수의 영향을 격리하기 위한 7가지 핵심 모범 사례입니다.

  1. 지능형 부하 분산 알고리즘 활용: 트래픽을 균등하게 분배하여 S3 클러스터에 핫스팟을 유발할 수 있는 라운드 로빈 부하 분산은 피하세요. 동적 비율 또는 최소 연결과 같은 적응형 알고리즘을 사용하여 노드 상태와 워크로드 처리 용량에 따라 트래픽을 지능적으로 분산하고 예측 가능한 성능을 확보하세요.
  2. 유연한 고가용성(HA) 아키텍처 구축: 이 구성은 유지보수 작업을 클라이언트 워크로드와 분리하여 다운타임을 방지하고 내결함성을 극대화합니다. 액티브-액티브 배포에서는 여러 BIG-IP 장비가 트래픽을 동시에 처리할 수 있어 지속적인 가용성을 보장하고 부하가 높은 워크로드의 처리량을 높입니다.
  3. 구성 자동화 활용: 자동화를 통해 배포 속도를 높이고, 확장을 간소화하며, 여러 환경에서 일관된 구성을 유지하는 데 따르는 복잡성을 줄일 수 있습니다. BIG-IP Application Services 3 Extension(BIG-IP AS3)과 BIG-IP Declarative Onboarding을 사용하여 BIG-IP 프로비저닝 및 구성을 자동화하세요.
  4. S3 엔드포인트에 고급 상태 모니터 활용: 사용자 지정 상태 모니터를 활성화하여 응답 시간, 오류율, 노드 용량 사용률 등 개별 S3 엔드포인트의 가용성과 성능을 확인하세요. BIG-IP는 성능이 저하되거나 오프라인 상태인 노드를 우회하도록 트래픽을 자동으로 재라우팅하여 유지보수 중에도 복원력을 보장하고 워크로드가 중단 없이 실행되도록 합니다.
  5. TCP/TLS 최적화로 데이터 처리량 향상: 윈도우 스케일링 및 혼잡 제어 등의 TCP 설정을 최적화하여 대규모 AI/ML 데이터 전송의 처리량을 향상하세요. BIG-IP의 S3에 최적화된 TCP 프로파일은 지연 시간을 최소화하여 암호화된 데이터를 안전하고 빠르게 전송합니다.
  6. 데이터 플레인 프로그래밍 기능을 활용한 트래픽 맞춤 설정: 맞춤형 프로그래밍 기능을 통해 트래픽을 세밀하게 제어하여 고유한 S3 워크로드 요구 사항에 맞는 성능과 유연성을 확보할 수 있습니다. BIG-IP의 이벤트 기반 iRules를 사용하여 헤더, 메타데이터 또는 개별 노드의 유지보수 상태에 따라 트래픽을 동적으로 라우팅하세요.
  7. 위치 인식 요청 라우팅 활성화: 위치 인식 라우팅 정책을 사용하여 지리적 근접성이나 지연 시간을 기준으로 스토리지 노드로 향하는 트래픽의 우선순위를 지정하세요. 이를 통해 네트워크 오버헤드를 줄이고 S3 클러스터에 의존하는 전 세계에 분산된 워크로드의 응답 시간을 개선할 수 있습니다.

AI 데이터 파이프라인을 위한 전용 전송 계층

S3는 범용적이고 내구성이 뛰어난 스토리지를 제공하며, F5 BIG-IP 버전 21.0은 스토리지에 AI에 최적화된 최상급 전송 계층을 제공합니다. 그 결과, 취약한 클라이언트 로직이나 사용자 지정 스크립트에 의존하지 않고도 모델 학습과 미세 조정, RAG 워크플로 서비스가 원활하게 이루어지도록 지원하는 고성능 데이터 파이프라인을 구현할 수 있습니다. BIG-IP v21.0을 지금 이용하실 수 있습니다. 자세한 내용은 BIG-IP 버전 21.0 출시 안내 블로그를 참조하세요. 또한 오늘 발표된 보도 자료도 꼭 확인해 보세요.

F5의 AI에 대한 노력은 여기서 그치지 않습니다. F5가 어디서나 AI 앱을 보호하고 제공하는 방법을 알아보세요.


공유

작성자 소개

Hunter Smit
Hunter Smit제품 마케팅 수석 매니저 | F5

Hunter Smit은 F5에서 솔루션 및 전략 부문 제품 마케팅을 담당하는 시니어 매니저입니다. AI 인프라와 애플리케이션 보안을 비롯한 F5 포트폴리오 전반의 솔루션 마케팅을 이끌고 있으며, F5의 신흥 AI 데이터 전송 시장 진출을 주도하고 있습니다. Hunter는 Whitworth University 경영대학 자문위원회 위원이며, 제품 마케팅 겸임 강사로도 활동했습니다. Whitworth University에서 경영학 석사(MBA)와 경영학 학사 학위를 취득했습니다.

Hunter Smit의 다른 블로그 게시물
Mark Menger
Mark Menger솔루션 아키텍트 | F5

Mark Menger는 AI 및 보안 기술 파트너십을 전문으로 하는 F5의 솔루션 아키텍트입니다. 그는 F5의 AI 레퍼런스 아키텍처 개발을 이끌며 안전하고 확장 가능한 AI 솔루션의 발전을 주도하고 있습니다. 글로벌 솔루션 아키텍트 및 솔루션 엔지니어로서의 경험을 바탕으로 F5의 보안 클라우드 아키텍처에 기여했으며, 분산형 4계층 아키텍처를 공동 개발했습니다. 『Solving IT Complexity』의 공동 저자인 그는 IT 과제 해결에 관한 전문성을 갖추고 있습니다. 이전에는 애플리케이션 개발자와 엔터프라이즈 아키텍트로 근무하며 최신 애플리케이션, 자동화, AI 투자 가치 실현 가속화에 주력했습니다.

Mark Menger의 다른 블로그 게시물

관련 블로그 게시물

F5 NGINX Gateway Fabric로 AI 제공 표준화
F5 ADSP | 2026. 06. 19.

F5 NGINX Gateway Fabric로 AI 제공 표준화

F5 NGINX Gateway Fabric이 기업의 Kubernetes 트래픽 표준화, 애플리케이션 보안 강화, 대규모 AI 추론 준비를 어떻게 지원하는지 알아보세요.

F5의 CalypsoAI 인수 발표, TRiSM 프레임워크 구축을 향한 행보
F5 ADSP | 2025. 09. 12.

F5의 CalypsoAI 인수 발표, TRiSM 프레임워크 구축을 향한 행보

F5의 CalypsoAI 전략적 인수를 통해 조직은 보안, 개인정보 보호 및 운영 통제력을 유지하면서도 안심하고 AI를 도입할 수 있습니다. 자세한 내용은 블로그에서 확인하세요.

사이버 복원력: LLM을 위한 OWASP Top 10 위험 완화
F5 ADSP | 2025. 04. 17.

사이버 복원력: LLM을 위한 OWASP Top 10 위험 완화

OWASP가 2025년 LLM 및 생성형 AI 앱을 위한 10대 위험 및 완화 방안을 발표하면서 업계에 절실히 필요했던 보안 기준이 마련되었습니다. 하지만 실행이 뒤따르지 않는 기준은 아무 의미가 없습니다. F5 AI 런타임 보안 솔루션은 OWASP 10대 위험의 80%에 대응하며, 현실에서 가장 시급한 위험을 우선적으로 해결합니다. 이 솔루션은 실시간 런타임 보호 기능을 결합하여 […]

석유 및 가스 산업을 위한 AI 보안
F5 ADSP | 2025. 01. 01.

석유 및 가스 산업을 위한 AI 보안

AI는 지질 모델링과 시추 최적화부터 파이프라인 모니터링, 예측 유지보수, 원자재 거래에 이르기까지 석유 및 가스 산업을 재편하고 있습니다. 하지만 이러한 미션 크리티컬 활용 사례에는 높은 위험도 따릅니다. 당사의 AI 런타임 보안 솔루션은 검증을 위한 레드팀, 보호를 위한 Guardrails, 그리고 내장된 관측 가능성을 통해 석유 및 가스 산업을 안전하게 보호합니다. […]

인사 부서를 위한 AI 보안
F5 ADSP | 2025. 01. 01.

인사 부서를 위한 AI 보안

AI는 HR을 혁신하고 있습니다. 기업들은 비용을 절감하고 직원 경험을 개선하기 위해 AI 기반 채용 코파일럿, 온보딩 도우미, 직원 지원 챗봇, 인력 분석 도구를 도입하고 있습니다. 하지만 HR 애플리케이션에는 규정 준수 실패, 편향 논란, 평판 훼손으로 이어질 수 있는 고유한 위험도 존재합니다. 당사의 AI 런타임 보안 솔루션은 다음과 같은 방식으로 HR 분야를 보호합니다. […]

기업 법무 관리를 위한 AI 보안
F5 ADSP | 2025. 01. 01.

기업 법무 관리를 위한 AI 보안

AI는 계약 검토 및 증거개시 자동화부터 규제 준수 모니터링과 민감한 지식재산 관리에 이르기까지 기업 법무팀의 업무 방식을 혁신하고 있습니다. 그러나 법률 환경은 AI 도입 시 가장 큰 위험이 따르는 분야 중 하나입니다. 당사의 AI 런타임 보안 솔루션은 검증을 위한 레드팀, Guardrails 등 세 가지 접근 방식으로 기업 법무 관리를 보호합니다 […]