챌린지-응답 인증 방식은 주로 일회용 비밀번호(OTP)에 사용됩니다. OTP 외에도 PPP(Point-to-Point Protocol)의 일부인 CHAP(Challenge Handshake Authentication Protocol) 등의 프로토콜과 Wi-Fi 액세스 포인트의 장치 인증에도 활용됩니다.
이 방식에서는 클라이언트(인증 대상 엔터티)가 사용자 ID와 같은 자격 증명을 사용하여 서버(인증을 수행하는 엔터티)에 인증 요청을 보냅니다. 서버는 "챌린지"라고 하는 임의의 데이터를 생성하여 응답하고 이를 클라이언트로 전송합니다. 동시에 서버는 클라이언트의 비밀번호를 기반으로 예상되는 응답을 미리 계산합니다. 클라이언트는 비밀번호와 함께 챌린지를 사용하여 해시된 값("응답")을 계산하고 이를 서버로 다시 보냅니다. 그런 다음 서버는 클라이언트의 응답을 자신이 생성한 응답과 비교합니다. 두 가지가 일치하면 인증이 성공합니다.
매번 생성되는 챌린지는 무작위이고 해당 응답은 고유하므로, 이 방법은 공격자가 교환을 가로채더라도 인증을 손상하기 어렵게 만들어 강력한 보안을 제공합니다. 그러나 비밀번호 자체가 도난당하면 무단 접근은 여전히 위험합니다.
이러한 위험을 완화하기 위해, 챌린지-응답 방식을 사용하는 일회용 비밀번호에는 종종 추가적인 보안 조치가 포함됩니다. 예를 들어, 사용자는 먼저 자신의 ID와 비밀번호를 입력하지만, 인증-응답 과정은 스마트폰과 같은 별도의 통신 채널과 기기를 통해 진행됩니다. 챌린지를 전달하는 일반적인 방법으로는 SMS 메시지, 이메일, 또는 특수 스마트폰 앱 등이 있습니다. 이 과정은 두 가지 독립적인 요소를 사용하기 때문에 "2단계 인증" 또는 "2단계 확인"이라고도 합니다.
F5의 BIG-IP 액세스 정책 관리자(APM)는 챌린지-응답 OTP 시스템 구현을 간소화하여 조직이 이 안전한 인증 방법을 도입하기 쉽게 해줍니다.