시맨틱 캐시 및 토큰 예산 계산기
요금이 명확한 두 가지 게이트웨이 계층 제어 기능: 모델 대신 캐시에서 답변을 제공하고, 예산 한도로 과도한 지출을 사전에 방지합니다.
AI 게이트웨이는 모든 사용자와 모든 모델 사이에 위치하므로, 두 가지 비용 제어 기능을 한곳에서 운영할 수 있습니다. GPU를 사용하지 않고 반복되는 질문에 답하는 시맨틱 캐시와 팀, 테넌트 또는 에이전트별 토큰 사용량에 상한을 두는 토큰 예산이 바로 그것입니다. 이 계산기로 두 기능의 비용 효과를 산출할 수 있습니다.
01: 트래픽
02: 캐시
시맨틱 캐싱은 정확한 문자열이 아니라 의미를 매칭합니다. 「비밀번호 재설정」과 「비밀번호는 어떻게 변경하나요」는 하나의 답변을 공유할 수 있습니다.
게이트웨이에 도달한 요청 100건
녹색 요청은 시맨틱 캐시에서 응답되고, 파란색 요청은 모델까지 전달됩니다.
- 캐시에서 처리됨
- 모델로 전달됨
자세히 보기
게이트웨이는 모델보다 먼저 모든 요청을 보는 유일한 구성 요소이며, 두 가지 제어가 가능한 이유도 여기에 있습니다. 시맨틱 캐싱은 요청의 의미를 최근 응답과 비교해 생성 없이 일치 결과를 반환합니다. 토큰 예산은 팀·테넌트·에이전트별 소비량을 계측하고, 다음 달 청구서가 아니라 요청 경로에서 한도를 적용합니다. 둘 다 모델 하류에서는 불가능하며, 애플리케이션마다 개별 구현하면 신뢰할 수 없습니다.
자주 묻는 질문
AI 팩토리 산수에서 AI 팩토리 제어로
같은 위치에서 게이트웨이 패턴의 나머지도 가능해집니다. 모델과 사업자 간 라우팅, 엔드포인트 저하 시 페일오버, 모든 소비 주체에 대한 단일 감사 추적이 그것이며, 모두 첫 GPU 사이클보다 앞선 지점에서 이뤄집니다.