O método de autenticação de desafio-resposta é usado principalmente para senhas de uso único (OTPs). Além dos OTPs, ele também é utilizado em protocolos como o CHAP (Challenge Handshake Authentication Protocol), que faz parte do PPP (Point-to-Point Protocol), e para autenticação de dispositivos em pontos de acesso Wi-Fi.
Neste método, o cliente (a entidade que está sendo autenticada) envia uma solicitação de autenticação ao servidor (a entidade que realiza a autenticação) usando credenciais como um ID de usuário. O servidor responde gerando um dado aleatório, conhecido como "desafio", e o envia ao cliente. Ao mesmo tempo, o servidor também pré-calcula a resposta esperada com base na senha do cliente. O cliente usa o desafio, junto com sua senha, para calcular um valor hash (a "resposta") e o envia de volta ao servidor. O servidor então compara a resposta do cliente com a que ele gerou. Se os dois corresponderem, a autenticação será bem-sucedida.
Como o desafio gerado a cada vez é aleatório e a resposta correspondente é única, o método oferece forte segurança ao dificultar que invasores comprometam a autenticação, mesmo que a troca seja interceptada. Entretanto, se a senha for roubada, o acesso não autorizado continua sendo um risco.
Para mitigar esse risco, senhas de uso único que usam o método de desafio-resposta geralmente envolvem medidas de segurança adicionais. Por exemplo, os usuários inserem seu ID e senha primeiro, mas o processo de desafio-resposta ocorre por meio de um canal de comunicação e dispositivo separados, como um smartphone. Os métodos comuns para realizar o desafio incluem mensagens SMS, e-mail ou um aplicativo especializado para smartphone. Como esse processo utiliza dois fatores independentes, é frequentemente chamado de "autenticação de dois fatores" ou "verificação em duas etapas".
O BIG-IP Access Policy Manager (APM) da F5 simplifica a implementação de sistemas OTP de desafio-resposta, facilitando a adoção desse método de autenticação seguro por organizações.