Os KPIs da prevenção a fraudes em pagamentos

White Paper

Neste whitepaper, apresento a arte de medir o resultado de negócio dos sistemas de prevenção a fraudes em pagamentos. Neste primeiro capítulo, discuto os principais critérios de desempenho, explico por que o setor os definiu dessa forma e mostro como usá-los para calibrar sua operação de prevenção a fraudes.

O setor de pagamentos usa dois KPIs para descrever o desempenho de um sistema de prevenção a fraudes: taxa de acerto (hit rate) e taxa de falsos positivos.

Taxa de acerto (hit rate)

A taxa de acerto é calculada como o valor monetário total de todas as fraudes corretamente identificadas dividido pelo valor total de fraudes tentadas. Normalmente é expressa em percentual. Se você tivesse US$ 1 milhão em fraudes anuais sem nenhum sistema de prevenção a fraudes e, ao ativá-lo, reduzisse as perdas para US$ 400 mil, a taxa de acerto seria de 60%. Uma taxa de acerto de 100% representaria um sistema de prevenção a fraudes perfeito; uma de 0%, um sistema totalmente inoperante.

Taxa de falsos positivos

A taxa de falsos positivos é calculada como o número de solicitações de pagamento recusadas indevidamente dividido pelo número de solicitações recusadas corretamente. Observe que as solicitações recusadas indevidamente são transações que teriam sido legítimas se fossem aprovadas. Elas representam a situação em que um cliente legítimo tentou fazer um pagamento legítimo e foi recusado por engano. Isso gera transtorno para o cliente e, se fosse preciso definir "insatisfação do cliente" com um sistema de pagamentos, um pagamento legítimo recusado pelo banco ou pela instituição financeira é praticamente o pior cenário possível.

Um valor típico de taxa de falsos positivos na prevenção a fraudes com cartões seria 1:8. Isso significa 8 pagamentos legítimos recusados para cada pagamento fraudulento recusado corretamente. Parece muito, mas é preciso considerar que apenas cerca de uma em cada 2.000 solicitações de pagamento com cartão é fraudulenta. Ainda assim, recusar indevidamente 8 transações legítimas é um "preço considerável" para recusar corretamente um pagamento fraudulento.

Nenhuma previsão é perfeita

Esta é a primeira lição: sempre há um "preço" para prevenir fraudes em pagamentos. Não existe sistema de prevenção sem falsos positivos. Trata-se de prever agora se uma solicitação de pagamento vai se revelar fraude mais tarde. Assim como a previsão do tempo às vezes erra, um sistema de prevenção a fraudes também erra. Em outras palavras, o "preço" de prevenir fraudes em pagamentos são os falsos positivos.

Nosso setor lida com isso buscando o "equilíbrio" mais adequado entre uma taxa de acerto suficientemente alta e uma taxa de falsos positivos suficientemente baixa. Por isso, todo sistema de prevenção a fraudes pode ser ajustado definindo o limiar de "score de risco" para recusa. Um limiar baixo faz com que até solicitações de pagamento com score de risco médio sejam recusadas, gerando taxas de acerto altas, mas também muitos falsos positivos. Um limiar alto produz o oposto: taxas de acerto baixas, mas também poucos falsos positivos.

Definindo o desempenho

Este é um exemplo do desempenho típico de prevenção a fraudes de um emissor de cartões:

O gráfico mostra que, para atingir uma taxa de acerto de 60%, seria necessário recusar toda solicitação de pagamento com score acima de 115, com uma taxa de falsos positivos de 1:15. Para atingir uma taxa de acerto de 30%, seria necessário recusar toda solicitação com score acima de 325, com uma taxa de falsos positivos de 1:2.

Resumo

Não é possível evitar perdas com fraude recusando transações de alto risco em tempo real sem gerar alertas falsos. Alertas falsos são uma péssima experiência para o cliente, pois impedem um pagamento legítimo. No entanto, ajustando o limiar de risco para recusa, você pode equilibrar a redução de perdas com fraude (a “taxa de acerto”) e os falsos positivos. O “desempenho de detecção” da sua operação de prevenção a fraudes é a capacidade de alcançar ao mesmo tempo uma taxa de acerto alta e poucos falsos positivos.

Se quiser se aprofundar nesses temas, continue a leitura.

Aprofundamentos

Há vários aspectos que abordei apenas superficialmente acima e que merecem um aprofundamento. Confira a seguir.

Estatística

Se você tem formação em estatística, talvez se surpreenda ao saber que a prevenção a fraudes em pagamentos usa a taxa de acerto e a taxa de falsos positivos como principais KPIs. Em estatística, o gráfico padrão para mostrar o desempenho de um classificador binário é a curva ROC (receiver operating characteristic).

O principal motivo para as curvas ROC normalmente não serem usadas é que os pagamentos não são iguais. Eles variam muito de valor, e esse valor vira perda caso o pagamento se revele fraude. Em resumo, 100 pagamentos fraudulentos de US$ 1 e um pagamento fraudulento de US$ 100 causam a mesma perda financeira.

É por isso que a taxa de acerto é definida como “total de perdas com fraude evitadas dividido pelo total de perdas com fraude”, e não como “número total de pagamentos fraudulentos evitados dividido pelo total de pagamentos fraudulentos”.

Por outro lado, a taxa de falsos positivos normalmente é calculada pelo número de transações. Isso porque o principal efeito negativo de um alerta falso é o transtorno causado ao cliente ao fazer um pagamento legítimo. Esse impacto na satisfação do cliente normalmente não depende muito do valor da transação.

Scores

Acima, considerei que os sistemas de prevenção a fraudes fornecem um score de risco no intervalo de 0 a 999. Essa definição vem das antigas classificações de crédito ao consumidor e, por isso, está consolidada no setor financeiro. Ela é, porém, arbitrária. Scores de risco podem ter qualquer intervalo e podem ou não estar relacionados a uma probabilidade.

Observe que, se o score for a probabilidade prevista de a solicitação de pagamento atual se revelar fraudulenta mais tarde, ele se torna mais “útil” para decidir entre autorizar ou recusar. Você também pode multiplicar a probabilidade prevista de fraude de uma solicitação de pagamento pelo valor dessa solicitação. Isso gera um valor de “perda prevista”, que pode ser comparado à receita obtida com o processamento da transação para entender quais solicitações de pagamento são lucrativas de processar e quais não são.

Prevenção a fraudes baseada em regras

Todo sistema de prevenção a fraudes usa regras de decisão, nem que seja como “regras de política” para determinar como o score dos modelos de IA deve ser aplicado a cada tipo de solicitação de pagamento. Há também sistemas de prevenção a fraudes que dependem inteiramente de “regras de fraude” para identificar comportamento criminoso a partir da análise de especialistas. A maioria combina modelos de IA, regras de fraude e regras de política. Alguns chegam a usar machine learning para criar e adaptar regras.

Quando se usam regras de fraude, elas normalmente são bem definidas para um padrão de comportamento específico e, se forem acionadas, levam diretamente à recusa da solicitação de pagamento. Por isso, um conjunto de regras de fraude não gera automaticamente um score, como fazem a maioria dos modelos de scoring de IA. Ainda assim, é possível fazer a análise de “taxa de acerto vs. taxa de falsos positivos” descrita acima, ordenando as regras por qualidade preditiva e ativando-as em ordem decrescente.

Taxa de acerto vs. taxa de falsos positivos

Você também pode traçar diretamente a taxa de acerto versus a taxa de falsos positivos para encontrar o melhor equilíbrio: