챌린지-응답 인증 방식은 주로 일회용 비밀번호(OTP)에 사용됩니다. OTP 외에도 PPP(Point-to-Point Protocol)의 일부인 CHAP(Challenge Handshake Authentication Protocol)와 같은 프로토콜 및 Wi-Fi 액세스 포인트의 기기 인증에도 활용됩니다.

이 방식에서는 클라이언트(인증을 받는 주체)가 사용자 ID와 같은 자격 증명을 사용하여 서버(인증을 수행하는 주체)에 인증 요청을 보냅니다. 서버는 "챌린지"라고 하는 임의의 데이터를 생성하여 클라이언트에 전송합니다. 동시에 서버는 클라이언트의 비밀번호를 기반으로 예상 응답도 미리 계산합니다. 클라이언트는 챌린지와 비밀번호를 사용하여 해시 값("응답")을 계산한 후 서버로 다시 전송합니다. 그러면 서버는 클라이언트의 응답을 자신이 생성한 응답과 비교합니다. 두 응답이 일치하면 인증에 성공합니다.

매번 생성되는 챌린지가 무작위이고 그에 따른 응답도 고유하므로, 이 방식은 통신 내용을 가로채더라도 공격자가 인증을 무력화하기 어렵게 하여 강력한 보안성을 제공합니다. 하지만 비밀번호 자체가 유출되면 무단 액세스의 위험은 여전히 존재합니다.

이러한 위험을 줄이기 위해 챌린지-응답 방식을 사용하는 일회용 비밀번호에는 추가 보안 조치가 적용되는 경우가 많습니다. 예를 들어 사용자가 먼저 ID와 비밀번호를 입력하면, 챌린지-응답 절차는 스마트폰과 같은 별도의 기기와 통신 채널을 통해 진행됩니다. 챌린지를 전달하는 일반적인 방법으로는 SMS 메시지, 이메일 또는 전용 스마트폰 앱이 있습니다. 이 절차에서는 서로 독립적인 두 가지 인증 요소를 사용하므로 흔히 "2단계 인증" 또는 "2단계 검증"이라고 합니다.

F5의 BIG-IP는 챌린지-응답 방식의 OTP 시스템 구현을 간소화하여 조직이 이 안전한 인증 방식을 더 쉽게 도입할 수 있도록 지원합니다.