AI 및 ML 추론
인공지능(AI)과 머신러닝(ML)에서 추론이란 학습된 모델이 이전에 접하지 않은 새로운 데이터를 바탕으로 예측하거나 결정을 내리는 과정을 말합니다. 학습 과정에서 모델을 개발하고 개선한 후, 이를 실시간 환경이나 배치 처리에 실제로 활용하는 단계가 바로 추론입니다. 주가 예측부터 사기 거래 탐지에 이르기까지, 추론은 의사결정에 활용할 수 있는 결과를 제공함으로써 머신러닝의 잠재력을 현실로 구현합니다.
핵심 요약
- 추론은 학습된 모델이 학습한 내용을 이전에 접하지 못한 새로운 데이터에 적용하여 예측, 분류 또는 생성 결과를 도출하는 운영 단계입니다.
- 학습과 추론은 리소스 사용 특성이 서로 다릅니다. 학습은 주기적으로 이루어지며 많은 연산 자원을 필요로 하는 반면, 추론은 지속적으로 실행되며 지연 시간, 처리량, 비용을 기준으로 평가됩니다.
- 프로덕션 환경에서 모델을 지원하려면 하드웨어 가속기, 런타임 엔진, 모델 최적화 기법과 함께 사용자, 애플리케이션, 추론 엔드포인트를 연결하는 네트워킹 및 보안 인프라가 필요합니다.
- 기업은 일반적으로 실시간, 배치, 엣지, 생성형 AI 등 다양한 워크로드 유형에 걸쳐 추론을 관리하며, 각 유형은 서로 다른 지연 시간 및 확장성 요구 사항을 갖습니다.
- 추론 워크로드가 증가함에 따라 사용자, 데이터, API, 모델을 연결하는 애플리케이션 전송 및 보안 계층은 성능과 위험 관리 측면에서 모델 자체만큼 중요해집니다.
AI와 머신러닝에서 추론이란 무엇인가요?
이 개념은 현대 AI 시스템의 핵심입니다. 조직은 추론 기법을 활용해 운영을 최적화하고 사용자 경험을 개선하며 더 많은 정보에 기반한 의사결정을 내립니다. 기본적으로 모델 훈련이 과거 데이터를 분석해 패턴을 발견하는 과정이라면, 추론은 발견한 패턴을 새로운 상황과 데이터 포인트에 적용하는 과정으로, 이를 통해 신속한 인사이트 도출과 실시간 예측이 가능해집니다. 머신러닝은 학습(훈련) 단계와 적용(추론) 단계를 분리함으로써 기업이 다양한 프로세스를 더욱 민첩하고 효율적이며 정확하게 수행하도록 돕습니다.
머신 러닝의 추론 이해하기
머신러닝(ML)에서 추론이란 모델이 이전에 학습한 패턴을 일반화하여 새로운 입력에 대한 예측을 수행하는 능력으로 요약할 수 있습니다. 모델은 훈련 과정에서 과거 데이터를 분석하여 관계와 패턴을 찾아냅니다. 이러한 학습이 완료되면, 모델은 추론 단계에서 새롭게 습득한 지식을 활용하여 이전에 접한 적 없는 데이터를 분류하거나, 결과를 예측하거나, 적절한 항목을 추천합니다. 이처럼 머신러닝 추론은 개별 의사결정마다 사람이 개입하지 않아도 잠재적인 보안 위협 식별, 개인 맞춤형 제품 추천, 증상에 기반한 질병 진단 등 실제로 활용할 수 있는 결과를 제공합니다.
학습에서의 추론은 통계적 프레임워크에서도 이루어집니다. 통계적 학습에서 추론은 일반적으로 확률 모델을 적용하여 모집단 모수에 대한 결론을 도출하거나 확률적 예측을 수행하는 것을 의미합니다. AI와 ML에서는 예측 모델을 만드는 데 중점을 두는 경우가 많지만, 예측의 신뢰도나 불확실성 수준을 결정하는 것은 그 바탕이 되는 통계 이론입니다. 이러한 통계적 기반은 부정확한 예측으로 인한 피해가 매우 클 수 있는 금융이나 의료처럼 위험에 민감한 분야에서 특히 중요합니다.
추론과 학습의 차이점
학습과 추론은 머신 러닝 수명 주기에서 서로 구별되지만 상호 연결된 두 단계입니다. 학습, 즉 모델 개발에는 막대한 연산 자원이 필요합니다. 이 과정에서는 알고리즘에 대량의 과거 데이터나 레이블이 지정된 데이터를 제공하여 가중치, 편향 또는 의사결정 규칙을 학습하도록 합니다. 이러한 과정의 복잡성 때문에 학습은 일반적으로 고성능 GPU, 대용량 메모리, 대규모 연산 작업을 처리할 수 있는 특화된 프레임워크를 갖춘 강력한 시스템에서 수행됩니다.
반면, 추론은 모델이 학습한 지식을 실시간 데이터나 새로 수집된 데이터에 적용하는 과정입니다. 학습이 모델의 매개변수를 최적화하는 것(학습한 패턴을 가장 잘 표현하는 내부 표현을 찾는 것)을 목표로 한다면, 추론은 이러한 매개변수를 사용해 예측을 생성하는 데 중점을 둡니다. 학습은 일반적으로 한 번 수행되거나 모델을 갱신해야 할 경우 주기적으로 수행되는 반면, 추론은 상시 작동하며 요청에 따라 예측을 제공하고, 대개 밀리초 단위로 결과를 반환합니다. 잘 학습되고 최적화된 모델은 대량의 유입 데이터를 빠르게 처리할 수 있어 기업이 인사이트를 바탕으로 거의 즉각적으로 조치를 취할 수 있도록 지원합니다.
크기 | AI 학습 | AI 추론 |
목적 | 과거 데이터에서 패턴 학습 | 학습한 패턴을 새로운 데이터에 적용 |
사용된 데이터 | 대규모 데이터 세트, 레이블이 지정된 데이터 세트 또는 과거 데이터 세트 | 새로운 미관측 데이터로, 대개 단일 레코드 또는 소규모 배치 |
빈도 | 주기적으로 실행하거나, 한 번만 실행하거나, 필요에 따라 재학습 | 상시 또는 요청 시 |
컴퓨팅 프로파일 | 높은 수준으로 지속되며, 보통 수 시간에서 수일간 유지됨 | 요청당 비용은 더 낮지만 지속적이고 반복적으로 발생 |
주요 지표 | 모델 정확도 | 지연 시간 및 처리량 |
출력 | 학습된 모델, 즉 학습을 통해 얻은 가중치 | 예측, 분류 또는 생성된 결과 |
머신러닝 추론 과정
ML 추론은 데이터 입력으로 시작됩니다. 전자상거래 스토어의 거래 요청과 같은 단일 데이터 포인트든, 사물인터넷(IoT) 기기의 센서 출력과 같은 데이터 스트림이든, 모델은 먼저 입력 데이터를 전처리하거나 표준화합니다. 이 과정은 대개 학습 중 데이터를 처리하는 방식과 동일합니다. 학습 데이터와 추론 데이터의 형식이 다르면 모델의 정확도가 떨어질 수 있으므로, 데이터 준비 과정의 일관성을 유지하는 것이 중요합니다.
전처리가 끝나면 모델은 학습된 매개변수, 계층, 가중치로 구성된 내부 로직을 적용하여 입력을 의미 있는 출력으로 변환합니다. 출력에는 분류 레이블(‘스팸’ 또는 ‘스팸 아님’), 수치(주가 예측값), 권장 조치(대출 신청 승인 또는 거절) 등이 포함될 수 있습니다. 이 연산의 속도는 모델의 복잡성뿐 아니라 병렬 처리나 하드웨어 가속의 적용 여부에 따라서도 달라집니다. 이후 프롬프트에 따른 결과가 사용자나 시스템에 반환됩니다. 많은 환경에서는 이러한 예측 결과에 대해 보안, 규정 준수 또는 해당 분야의 고유한 요건 충족 여부를 확인하는 추가 검증을 수행합니다.
추론에는 다양한 유형의 모델이 사용될 수 있습니다. 지도 학습에서는 레이블이 지정된 데이터가 모델이 알려진 결과를 예측하는 데 도움을 줍니다. 비지도 학습에서는 모델이 레이블이 없는 데이터 내의 구조나 그룹을 추론합니다. AI의 또 다른 분야인 강화 학습은 시간이 지남에 따라 갱신되는 정책 기반 접근 방식을 사용하지만, 각 상태에서 최선의 행동을 선택할 때는 여전히 추론에 의존합니다. 학습 패러다임과 관계없이 추론 과정은 실행 가능한 결과와 인사이트가 도출되는 최종 단계입니다.
AI 추론 인프라: 하드웨어, 네트워킹 및 보안
기업이 학습된 모델을 대규모 환경에서도 안정적으로 응답하는 서비스로 전환하려면 하드웨어, 런타임 소프트웨어, 딜리버리 인프라를 아우르는 풀스택이 필요합니다. 기업용 AI 추론은 GPU와 모델뿐만 아니라 사용자, 데이터, API, 추론 엔드포인트를 연결하는 애플리케이션 딜리버리 및 보안 인프라에도 의존합니다.
하드웨어 가속기
추론 워크로드는 각 사용 사례에 필요한 처리량, 지연 시간, 비용 간의 균형을 고려해 선택한 특수 프로세서에서 실행됩니다. 그래픽 처리 장치(GPU)는 병렬 아키텍처가 추론의 기반이 되는 행렬 연산과 딥 러닝에 적합하기 때문에 여전히 가장 널리 사용됩니다. 조직이 특정 모델 아키텍처를 더 낮은 비용과 전력으로 실행하고자 할 때는 주문형 반도체(ASIC)와 클라우드 제공업체의 자체 추론 칩을 비롯한 기타 맞춤형 반도체도 흔히 사용됩니다. 일반적으로 최신 세대 GPU는 메모리 대역폭이 더 넓고 저정밀도 형식을 추가로 지원하므로, 단일 가속기로도 이전 세대보다 더 큰 모델을 실행하거나 더 많은 요청을 동시에 처리할 수 있습니다.
런타임 엔진
추론 서버라고도 하는 런타임 엔진은 학습된 모델과 예측을 요청하는 애플리케이션 사이에서 작동합니다. 모델을 로드하고, 들어오는 요청을 배치로 묶어 처리하며, 하드웨어 리소스를 관리하고, 결과를 반환합니다. 런타임 엔진이 필요한 이유는 다수의 동시 사용자를 대상으로 모델을 대규모로 효율적으로 실행하는 것이 단일 머신에서 같은 모델을 학습하거나 테스트하는 것과는 다른 엔지니어링 과제이기 때문입니다.
모델 최적화 기법
프로덕션 추론 시스템에서 자주 사용되는 두 가지 기법은 양자화와 KV 캐싱입니다. 양자화는 모델의 가중치와 활성화 값의 수치 정밀도를 낮추는 기법으로, 예를 들어 16비트 부동소수점(FP16)을 8비트 정수(INT8)로 변환합니다. 이를 통해 메모리 사용량을 줄이고, 저정밀도 연산을 가속하도록 설계된 하드웨어에서는 연산 속도도 높일 수 있습니다. 다만 정확도가 소폭 낮아지는 절충이 따르지만 대체로 관리 가능한 수준이므로, 일반적으로 양자화된 모델을 배포하기 전에 원본 모델과 비교하여 검증합니다. 트랜스포머 기반 언어 모델에 사용되는 KV 캐싱은 이전에 생성된 토큰의 어텐션 데이터를 저장하여 새 토큰을 생성할 때마다 모델이 이를 다시 계산하지 않도록 합니다. 따라서 긴 응답을 생성하는 데 필요한 연산량을 상당히 줄일 수 있습니다.
저지연 네트워킹 및 API 보안
추론은 사용자와 애플리케이션에 애플리케이션 프로그래밍 인터페이스(API)를 통해 제공되므로, 요청이 모델에 도달하기까지의 네트워크 경로는 모델 자체의 처리 시간만큼 중요합니다. 애플리케이션과 추론 엔드포인트 사이에서 발생하는 네트워크 지연, 혼잡, 비효율적인 라우팅은 더 빠른 GPU나 더 작은 양자화 모델로 얻은 성능 향상을 무색하게 만들 수 있습니다. 또한 추론 API에는 외부에 노출된 모든 API에 수반되는 익숙한 위험 외에도 프롬프트 인젝션, 모델 출력을 통한 데이터 유출, 고가의 컴퓨팅 리소스에 대한 무단 액세스 등 새로운 보안 문제가 따릅니다. 이러한 이유로 기업의 추론 전략에서는 하드웨어 및 모델 선택과 함께 전용 트래픽 관리 및 API 보안을 고려하는 추세가 점점 더 뚜렷해지고 있습니다.
엔터프라이즈 추론 워크로드 관리
모든 추론 워크로드가 동일한 방식으로 작동하는 것은 아니므로, 이를 지원하는 인프라도 이러한 차이를 고려해야 합니다. 기업은 일반적으로 실시간 추론, 배치 추론, 엣지 추론, 생성형 AI 및 LLM 추론이라는 네 가지 유형을 조합하여 관리합니다. 각 유형은 요구되는 지연 시간과 확장 방식이 서로 다릅니다.
실시간 또는 온라인 추론
실시간 추론은 요청을 한 번에 하나씩 처리하고 즉시, 일반적으로 밀리초 단위로 결과를 반환합니다. 이 방식은 거래 시점의 사기 탐지, 챗봇의 실시간 응답, 자율주행 차량의 주변 환경 인식처럼 시간에 민감한 사용 사례에 적합합니다. 이러한 사례에서는 늦은 응답이 잘못된 응답만큼이나 쓸모가 없기 때문입니다.
배치 추론
배치 추론은 여러 요청을 하나로 묶어 한 번에 처리하는 방식으로, 주로 정해진 일정에 따라 또는 사용량이 적은 시간대에 수행됩니다. 개별 요청의 지연 시간보다 전체 처리량이 더 중요하므로, 배치 작업은 가용 하드웨어를 더욱 효율적으로 활용할 수 있습니다. 대표적인 예로는 야간에 상품 추천을 생성하거나 대규모 고객 데이터셋을 대상으로 이탈 위험 점수를 산출하는 작업이 있습니다.
엣지 추론
엣지 추론은 스마트폰, 카메라, 산업용 센서 등 데이터를 생성하는 기기 또는 그 가까이에서 모델을 실행하는 방식으로, 데이터를 중앙 집중식 데이터 센터나 클라우드 리전으로 전송하지 않습니다. 이를 통해 지연 시간을 줄이고, 오프라인이나 연결이 간헐적인 환경에서도 활용할 수 있으며, 데이터 프라이버시 또는 데이터 상주 요건을 충족하는 데 도움이 될 수 있습니다. 다만, 일반적으로 사용 가능한 하드웨어에 맞춰 크기가 더 작거나 압축률이 더 높은 모델을 실행해야 합니다.
생성형 AI 및 LLM 추론
생성형 AI와 대규모 언어 모델(LLM) 워크로드는 단일 결과를 반환하는 대신 토큰 단위로 출력을 생성하므로, 분류 또는 회귀 모델보다 리소스 사용량을 예측하기 어렵습니다. 짧은 프롬프트에 긴 응답을 생성하는 경우, 긴 프롬프트에 짧은 응답을 생성할 때보다 훨씬 더 많은 연산 리소스를 소비하며, 사용량이 늘어나면 워크로드도 빠르게 달라질 수 있습니다. 이러한 변동성은 생성형 AI 워크로드가 이전 세대의 ML 추론보다 로드 밸런싱과 Kubernetes 기반 스케일링에 더 큰 부담을 주는 주요 원인입니다. 사용 패턴이 하루 단위가 아닌 분 단위로 바뀌기 때문에, 이에 맞춰 처리 용량을 탄력적으로 조정해야 하기 때문입니다.
머신러닝 추론의 실제 활용 사례
ML 추론의 영향은 다양한 분야에서 찾아볼 수 있습니다. 예를 들어 의료 분야에서는 추론을 통해 의사가 CT나 MRI 같은 의료 영상에서 이상 징후를 감지하고, 수작업으로 분석할 때보다 더 빠르게 잠재적인 문제를 파악할 수 있습니다. 금융 분야에서는 고빈도 매매 회사와 은행이 추론을 활용해 시장 동향을 예측하고, 신용카드 거래에서 사기 의심 사례를 탐지하며, 대출 위험을 평가합니다. 소매업체는 개별 고객의 쇼핑 행동에 맞춰 상품을 제안하는 추천 엔진에 추론을 적용하여 사용자 경험을 크게 향상시킵니다.
이처럼 흔히 언급되는 사례 외에도 ML 추론은 음성 인식 비서, 스마트 카메라의 얼굴 인식, 교육용 소프트웨어의 맞춤형 학습 경로에도 활용됩니다. 모델은 음성 명령, 실시간 영상 스트림, 성과 지표 등 새로운 데이터를 처리하여 즉각적인 응답과 동작을 제공합니다. 이에 따라 다양한 산업의 기업들이 추론 기반 인사이트를 활용해 효율성을 높이고 비용을 절감하며 고객 만족도를 개선하고 있습니다. 추론은 대규모 데이터 및 통합 인프라와 결합될 때 조직이 현재 추세에 대응하고 향후 변화를 더욱 정확하게 예측하며 보다 선제적으로 움직일 수 있도록 지원합니다.
ML 추론과 학습 비교
ML 추론과 학습을 비교하면 조직이 AI 워크로드 전반에서 높은 성능을 추구할 때 직면하는 절충점을 알 수 있습니다. 학습에는 상당한 컴퓨팅 리소스, 데이터 과학 분야의 전문 지식, 방대한 과거 데이터가 필요합니다. 학습은 실험, 하이퍼파라미터 튜닝, 검증 등을 포함하는 리소스 집약적인 단계입니다. 이러한 요인으로 인해 학습 주기는 몇 시간에서 며칠, 심지어 몇 주까지 걸릴 수 있으며, 특히 딥러닝 모델이나 매우 큰 데이터 세트를 사용하는 경우 더욱 그렇습니다.
반면, 추론은 일반적으로 속도와 확장성을 우선시하는 제약 조건하에서 수행됩니다. 목표는 모델의 정확도를 희생하지 않으면서 새로운 데이터를 거의 실시간으로 처리하는 것입니다. 프로덕션 환경에서는 네트워크 지연이나 제한적인 하드웨어 가속과 같은 병목 현상으로 성능이 저하될 수 있어 이러한 목표를 달성하기가 쉽지 않습니다. 조직은 모델을 재학습하여 최신 상태로 유지하는 빈도와 추론 요청을 효율적으로 처리하는 능력 사이에서 적절한 균형을 찾는 데 어려움을 겪는 경우가 많습니다. 기업은 전이 학습, 모델 압축, 엣지 컴퓨팅 등의 기법을 활용해 양쪽을 모두 최적화함으로써 연산 비용을 효과적으로 관리하면서도 높은 모델 예측 정확도를 달성하고자 합니다.
F5가 엔터프라이즈 AI 배포를 지원하는 방법
F5는 F5 Application Delivery and Security Platform을 통해 조직이 엔터프라이즈 AI 배포를 보호하고 확장하며 오케스트레이션할 수 있도록 지원합니다. F5는 분산 API에 의존하는 경우가 많은 상호 연결된 AI 모델의 과제를 해결하여 워크플로를 간소화하고, 인프라를 강화하며, 하이브리드 및 멀티클라우드 환경 전반에서 원활한 성능을 보장합니다. 또한 AI 데이터 수집을 위한 지능형 트래픽 관리와 고급 위협 보호 기능을 통해 효율적인 학습, 미세 조정 및 추론을 지원합니다. F5는 NVIDIA 및 Intel과 같은 업계 선도 기업과 협력하여 AI 운영을 간소화하고 보안을 강화하며 기업이 엔터프라이즈 AI의 잠재력을 확신을 갖고 최대한 활용할 수 있도록 맞춤형 솔루션을 제공합니다. F5가 모든 환경에서 AI 애플리케이션을 보호하고 제공하는 방법을 자세히 알아보세요.
하이브리드 및 멀티클라우드 환경 전반에 AI 추론 배포
대부분의 기업은 온프레미스 데이터 센터, 퍼블릭 클라우드, 엣지 환경을 혼합하여 추론을 실행하며, 각 환경에서는 지연 시간, 비용, 규정 준수 요건을 개별적으로 고려해야 합니다. F5는 포트폴리오의 여러 솔루션을 통해 이러한 복잡성을 해결합니다. F5 AI Gateway와 같은 AI 게이트웨이를 사용하면 팀은 모델이 실행되는 위치에 관계없이 단일 제어 지점에서 AI 모델, 에이전트, 도구로 향하는 트래픽을 관리하고 보호하며 최적화할 수 있습니다.
F5 Distributed Cloud는 데이터 센터, 클라우드, 엣지 사이트 전반에 일관된 네트워킹 및 보안 정책을 적용하여, 일관된 보안 태세를 유지하면서 환경 간에 추론 트래픽이 이동할 수 있도록 합니다. AI 팩토리를 위해 설계된 로드 밸런싱 솔루션은 온프레미스 환경이든 서비스형 GPU 환경이든 GPU 클러스터와 Kubernetes 환경 전반에 추론 및 학습 트래픽을 라우팅하여 고가의 가속기 리소스가 유휴 상태로 방치되지 않도록 지원합니다. F5 ADSP의 일부인 이러한 솔루션은 조직이 환경마다 별도의 포인트 솔루션을 조합하는 대신, 사용자, 데이터, API, 추론 엔드포인트를 하나의 아키텍처로 연결할 수 있도록 합니다.
AI와 머신러닝에서 추론은 학습과 실제 활용을 이어주는 가교입니다. 모델 개발 과정에서 학습한 복잡한 패턴을 실행 가능한 인사이트로 전환하여 맞춤형 추천과 사기 탐지부터 의료 진단과 챗봇 상호작용까지 다양한 용도에 활용할 수 있게 합니다. 새로운 데이터를 처리하고 결과를 제공하는 데 초점을 맞춘 추론은 머신러닝이 그 진가를 발휘하는 단계로, 조직이 데이터에 기반한 의사결정을 내리고 사용자 경험을 실시간으로 개선할 수 있도록 지원합니다.
AI 기반 솔루션을 도입하는 산업이 늘어나면서 추론의 중요성도 계속 커지고 있습니다. 추론에는 오케스트레이션 계층과 특수 하드웨어 등을 포함하는 효율적이고 안정적인 인프라가 필요할 뿐만 아니라, 변화하는 환경에 적응할 수 있도록 잘 설계된 모델의 가치도 더욱 부각됩니다. 최신 AI 시스템은 많은 연산이 필요한 학습 과정과 빠르게 반복되는 추론 과정을 분리함으로써 성능이나 속도를 희생하지 않고도 최신 상태를 유지하며 변화하는 요구에 부응할 수 있습니다. 온라인 추천과 같은 일상적인 애플리케이션부터 예측 유지보수와 고도화된 진단 같은 핵심 업무에 이르기까지, 추론은 우리가 일하고 생활하며 혁신하는 방식에 점점 더 큰 영향을 미치는 머신러닝의 중심에 있습니다.
