KPIs avançados de prevenção a fraudes
White Paper
Os KPIs mais usados no mercado para medir o desempenho das operações de prevenção a fraudes são:
-
Taxa de acerto (hit rate) → valor da fraude detectada/sinalizada dividido pelo valor total da fraude.
-
(Taxa de) falsos positivos → número de pagamentos detectados/sinalizados/recusados indevidamente dividido pelo número de pagamentos detectados/sinalizados/recusados corretamente.
Além desses, a FraudAverse utiliza os KPIs "valor economizado por alerta falso" e "critério de benefício". A vantagem deles é permitir a comparação direta entre indicadores/features, scores de modelos e regras.
Valor economizado por alerta falso
O SAFA (saved amount per false alert, ou valor economizado por alerta falso) é uma espécie de "análise de rentabilidade" de indicadores/features, scores de modelos e regras. Ele é calculado como o valor da fraude detectada/sinalizada dividido pelo número de alertas falsos.
Se uma regra recusa $1.000 em fraudes, mas ao mesmo tempo recusa 10 pagamentos legítimos, ela gera uma economia de $100 para cada alerta falso que provoca.
O modelo econômico por trás disso é que um alerta falso tem um certo "custo". Esse "custo" inclui a insatisfação do cliente, o possível menor uso do meio de pagamento pelo cliente no futuro, danos à reputação da marca etc. Se uma instituição financeira calcular o "custo" de uma recusa indevida de pagamento em, por exemplo, $50, toda contramedida antifraude com SAFA acima de $50 será "rentável".
A vantagem do SAFA como KPI é que ele usa uma dimensão monetária e oferece uma
escala ordinal para indicadores/features, scores de modelos e regras.
No entanto, o SAFA não é o KPI principal da FraudAverse. O motivo é que há outros fatores que determinam o quanto um indicador ou contramedida antifraude é preferível a outro. Por exemplo, um indicador pode ter um SAFA relativamente alto e, ainda assim, o valor total de fraude que ele sinaliza/detecta ser baixo. Usar esse indicador não seria recomendável, pois tornaria o modelo excessivamente complexo. Por isso, a FraudAverse usa o critério de benefício como seu KPI principal.
Critério de benefício
Toda contramedida antifraude, como uma regra ou um indicador, é ponderada por um score de benefício que vai de 0 a 10. Quanto maior o valor, maior o benefício da regra ou do indicador. O valor do peso define o equilíbrio entre taxa de acerto e falsos positivos no cálculo do benefício. Pesos abaixo de 0,5 favorecem poucos falsos positivos; pesos acima de 0,5 favorecem altas taxas de acerto.
As tabelas abaixo mostram como contramedidas antifraude com determinada taxa de acerto (eixo vertical) e determinada taxa de falsos positivos (eixo horizontal) são avaliadas quanto ao benefício. Por exemplo, com peso = 0,4, uma contramedida que atinge 0,5% do valor total da fraude com taxa de falsos positivos de 1:2 recebe benefício 6,3, assim como uma contramedida que atinge 5% do valor total da fraude com taxa de falsos positivos de 1:10.
|
Benefício para peso = 0,1
| 100.0% |
1.0 |
1.9 |
3.1 |
4.0 |
4.9 |
6.1 |
7.0 |
7.9 |
9.1 |
10.0 |
| 50.0% |
0.9 |
1.8 |
3.0 |
3.9 |
4.8 |
6.0 |
6.9 |
7.8 |
9.0 |
9.9 |
| 20.0% |
0.8 |
1.7 |
2.9 |
3.8 |
4.7 |
5.9 |
6.8 |
7.7 |
8.9 |
9.8 |
| 10.0% |
0.7 |
1.6 |
2.8 |
3.7 |
4.6 |
5.8 |
6.7 |
7.6 |
8.8 |
9.7 |
| 5.0% |
0.6 |
1.5 |
2.7 |
3.6 |
4.5 |
5.7 |
6.6 |
7.5 |
8.7 |
9.6 |
| 2.0% |
0.4 |
1.3 |
2.5 |
3.4 |
4.3 |
5.5 |
6.4 |
7.3 |
8.5 |
9.4 |
| 1.0% |
0.3 |
1.2 |
2.4 |
3.3 |
4.2 |
5.4 |
6.3 |
7.2 |
8.4 |
9.3 |
| 0.5% |
0.2 |
1.1 |
2.3 |
3.2 |
4.1 |
5.3 |
6.2 |
7.1 |
8.3 |
9.2 |
| 0.2% |
0.1 |
1.0 |
2.2 |
3.1 |
4.0 |
5.2 |
6.1 |
7.0 |
8.2 |
9.1 |
| 0.1% |
0.0 |
0.9 |
2.1 |
3.0 |
3.9 |
5.1 |
6.0 |
6.9 |
8.1 |
9.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
Benefício para peso = 0,2
| 100.0% |
2.0 |
2.8 |
3.9 |
4.7 |
5.5 |
6.5 |
7.3 |
8.1 |
9.2 |
10.0 |
| 50.0% |
1.8 |
2.6 |
3.7 |
4.5 |
5.3 |
6.3 |
7.1 |
7.9 |
9.0 |
9.8 |
| 20.0% |
1.5 |
2.3 |
3.4 |
4.2 |
5.0 |
6.1 |
6.9 |
7.7 |
8.7 |
9.5 |
| 10.0% |
1.3 |
2.1 |
3.2 |
4.0 |
4.8 |
5.9 |
6.7 |
7.5 |
8.5 |
9.3 |
| 5.0% |
1.1 |
1.9 |
3.0 |
3.8 |
4.6 |
5.7 |
6.5 |
7.3 |
8.3 |
9.1 |
| 2.0% |
0.9 |
1.7 |
2.7 |
3.5 |
4.3 |
5.4 |
6.2 |
7.0 |
8.1 |
8.9 |
| 1.0% |
0.7 |
1.5 |
2.5 |
3.3 |
4.1 |
5.2 |
6.0 |
6.8 |
7.9 |
8.7 |
| 0.5% |
0.5 |
1.3 |
2.3 |
3.1 |
3.9 |
5.0 |
5.8 |
6.6 |
7.7 |
8.5 |
| 0.2% |
0.2 |
1.0 |
2.1 |
2.9 |
3.7 |
4.7 |
5.5 |
6.3 |
7.4 |
8.2 |
| 0.1% |
0.0 |
0.8 |
1.9 |
2.7 |
3.5 |
4.5 |
5.3 |
6.1 |
7.2 |
8.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
Benefício para peso = 0,3
| 100.0% |
3.0 |
3.7 |
4.6 |
5.3 |
6.0 |
7.0 |
7.7 |
8.4 |
9.3 |
10.0 |
| 50.0% |
2.7 |
3.4 |
4.3 |
5.0 |
5.7 |
6.7 |
7.4 |
8.1 |
9.0 |
9.7 |
| 20.0% |
2.3 |
3.0 |
3.9 |
4.6 |
5.3 |
6.3 |
7.0 |
7.7 |
8.6 |
9.3 |
| 10.0% |
2.0 |
2.7 |
3.6 |
4.3 |
5.0 |
6.0 |
6.7 |
7.4 |
8.3 |
9.0 |
| 5.0% |
1.7 |
2.4 |
3.3 |
4.0 |
4.7 |
5.7 |
6.4 |
7.1 |
8.0 |
8.7 |
| 2.0% |
1.3 |
2.0 |
2.9 |
3.6 |
4.3 |
5.3 |
6.0 |
6.7 |
7.6 |
8.3 |
| 1.0% |
1.0 |
1.7 |
2.6 |
3.3 |
4.0 |
5.0 |
5.7 |
6.4 |
7.3 |
8.0 |
| 0.5% |
0.7 |
1.4 |
2.3 |
3.0 |
3.7 |
4.7 |
5.4 |
6.1 |
7.0 |
7.7 |
| 0.2% |
0.3 |
1.0 |
1.9 |
2.6 |
3.3 |
4.3 |
5.0 |
5.7 |
6.6 |
7.3 |
| 0.1% |
0.0 |
0.7 |
1.6 |
2.3 |
3.0 |
4.0 |
4.7 |
5.4 |
6.3 |
7.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
|
Benefício para peso = 0,4
| 100.0% |
4.0 |
4.6 |
5.4 |
6.0 |
6.6 |
7.4 |
8.0 |
8.6 |
9.4 |
10.0 |
| 50.0% |
3.6 |
4.2 |
5.0 |
5.6 |
6.2 |
7.0 |
7.6 |
8.2 |
9.0 |
9.6 |
| 20.0% |
3.1 |
3.7 |
4.5 |
5.1 |
5.7 |
6.5 |
7.1 |
7.7 |
8.5 |
9.1 |
| 10.0% |
2.7 |
3.3 |
4.1 |
4.7 |
5.3 |
6.1 |
6.7 |
7.3 |
8.1 |
8.7 |
| 5.0% |
2.3 |
2.9 |
3.7 |
4.3 |
4.9 |
5.7 |
6.3 |
6.9 |
7.7 |
8.3 |
| 2.0% |
1.7 |
2.3 |
3.1 |
3.7 |
4.3 |
5.1 |
5.7 |
6.3 |
7.1 |
7.7 |
| 1.0% |
1.3 |
1.9 |
2.7 |
3.3 |
3.9 |
4.7 |
5.3 |
5.9 |
6.7 |
7.3 |
| 0.5% |
0.9 |
1.5 |
2.3 |
2.9 |
3.5 |
4.3 |
4.9 |
5.5 |
6.3 |
6.9 |
| 0.2% |
0.4 |
1.0 |
1.8 |
2.4 |
3.0 |
3.8 |
4.4 |
5.0 |
5.8 |
6.4 |
| 0.1% |
0.0 |
0.6 |
1.4 |
2.0 |
2.6 |
3.4 |
4.0 |
4.6 |
5.4 |
6.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
Benefício para peso = 0,5
| 100.0% |
5.0 |
5.5 |
6.2 |
6.7 |
7.2 |
7.8 |
8.3 |
8.8 |
9.5 |
10.0 |
| 50.0% |
4.5 |
5.0 |
5.7 |
6.2 |
6.7 |
7.3 |
7.8 |
8.3 |
9.0 |
9.5 |
| 20.0% |
3.8 |
4.3 |
5.0 |
5.5 |
6.0 |
6.7 |
7.2 |
7.7 |
8.3 |
8.8 |
| 10.0% |
3.3 |
3.8 |
4.5 |
5.0 |
5.5 |
6.2 |
6.7 |
7.2 |
7.8 |
8.3 |
| 5.0% |
2.8 |
3.3 |
4.0 |
4.5 |
5.0 |
5.7 |
6.2 |
6.7 |
7.3 |
7.8 |
| 2.0% |
2.2 |
2.7 |
3.3 |
3.8 |
4.3 |
5.0 |
5.5 |
6.0 |
6.7 |
7.2 |
| 1.0% |
1.7 |
2.2 |
2.8 |
3.3 |
3.8 |
4.5 |
5.0 |
5.5 |
6.2 |
6.7 |
| 0.5% |
1.2 |
1.7 |
2.3 |
2.8 |
3.3 |
4.0 |
4.5 |
5.0 |
5.7 |
6.2 |
| 0.2% |
0.5 |
1.0 |
1.7 |
2.2 |
2.7 |
3.3 |
3.8 |
4.3 |
5.0 |
5.5 |
| 0.1% |
0.0 |
0.5 |
1.2 |
1.7 |
2.2 |
2.8 |
3.3 |
3.8 |
4.5 |
5.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
Benefício para peso = 0,6
| 100.0% |
6.0 |
6.4 |
6.9 |
7.3 |
7.7 |
8.3 |
8.7 |
9.1 |
9.6 |
10.0 |
| 50.0% |
5.4 |
5.8 |
6.3 |
6.7 |
7.1 |
7.7 |
8.1 |
8.5 |
9.0 |
9.4 |
| 20.0% |
4.6 |
5.0 |
5.5 |
5.9 |
6.3 |
6.9 |
7.3 |
7.7 |
8.2 |
8.6 |
| 10.0% |
4.0 |
4.4 |
4.9 |
5.3 |
5.7 |
6.3 |
6.7 |
7.1 |
7.6 |
8.0 |
| 5.0% |
3.4 |
3.8 |
4.3 |
4.7 |
5.1 |
5.7 |
6.1 |
6.5 |
7.0 |
7.4 |
| 2.0% |
2.6 |
3.0 |
3.5 |
3.9 |
4.3 |
4.9 |
5.3 |
5.7 |
6.2 |
6.6 |
| 1.0% |
2.0 |
2.4 |
2.9 |
3.3 |
3.7 |
4.3 |
4.7 |
5.1 |
5.6 |
6.0 |
| 0.5% |
1.4 |
1.8 |
2.3 |
2.7 |
3.1 |
3.7 |
4.1 |
4.5 |
5.0 |
5.4 |
| 0.2% |
0.6 |
1.0 |
1.5 |
1.9 |
2.3 |
2.9 |
3.3 |
3.7 |
4.2 |
4.6 |
| 0.1% |
0.0 |
0.4 |
0.9 |
1.3 |
1.7 |
2.3 |
2.7 |
3.1 |
3.6 |
4.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
|
Benefício para peso = 0,7
| 100.0% |
7.0 |
7.3 |
7.7 |
8.0 |
8.3 |
8.7 |
9.0 |
9.3 |
9.7 |
10.0 |
| 50.0% |
6.3 |
6.6 |
7.0 |
7.3 |
7.6 |
8.0 |
8.3 |
8.6 |
9.0 |
9.3 |
| 20.0% |
5.4 |
5.7 |
6.1 |
6.4 |
6.7 |
7.1 |
7.4 |
7.7 |
8.1 |
8.4 |
| 10.0% |
4.7 |
5.0 |
5.4 |
5.7 |
6.0 |
6.4 |
6.7 |
7.0 |
7.4 |
7.7 |
| 5.0% |
4.0 |
4.3 |
4.7 |
5.0 |
5.3 |
5.7 |
6.0 |
6.3 |
6.7 |
7.0 |
| 2.0% |
3.0 |
3.3 |
3.7 |
4.0 |
4.3 |
4.7 |
5.0 |
5.3 |
5.7 |
6.0 |
| 1.0% |
2.3 |
2.6 |
3.0 |
3.3 |
3.6 |
4.0 |
4.3 |
4.6 |
5.0 |
5.3 |
| 0.5% |
1.6 |
1.9 |
2.3 |
2.6 |
2.9 |
3.3 |
3.6 |
3.9 |
4.3 |
4.6 |
| 0.2% |
0.7 |
1.0 |
1.4 |
1.7 |
2.0 |
2.4 |
2.7 |
3.0 |
3.4 |
3.7 |
| 0.1% |
0.0 |
0.3 |
0.7 |
1.0 |
1.3 |
1.7 |
2.0 |
2.3 |
2.7 |
3.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
Benefício para peso = 0,8
| 100.0% |
8.0 |
8.2 |
8.5 |
8.7 |
8.9 |
9.1 |
9.3 |
9.5 |
9.8 |
10.0 |
| 50.0% |
7.2 |
7.4 |
7.7 |
7.9 |
8.1 |
8.3 |
8.5 |
8.7 |
9.0 |
9.2 |
| 20.0% |
6.1 |
6.3 |
6.6 |
6.8 |
7.0 |
7.3 |
7.5 |
7.7 |
7.9 |
8.1 |
| 10.0% |
5.3 |
5.5 |
5.8 |
6.0 |
6.2 |
6.5 |
6.7 |
6.9 |
7.1 |
7.3 |
| 5.0% |
4.5 |
4.7 |
5.0 |
5.2 |
5.4 |
5.7 |
5.9 |
6.1 |
6.3 |
6.5 |
| 2.0% |
3.5 |
3.7 |
3.9 |
4.1 |
4.3 |
4.6 |
4.8 |
5.0 |
5.3 |
5.5 |
| 1.0% |
2.7 |
2.9 |
3.1 |
3.3 |
3.5 |
3.8 |
4.0 |
4.2 |
4.5 |
4.7 |
| 0.5% |
1.9 |
2.1 |
2.3 |
2.5 |
2.7 |
3.0 |
3.2 |
3.4 |
3.7 |
3.9 |
| 0.2% |
0.8 |
1.0 |
1.3 |
1.5 |
1.7 |
1.9 |
2.1 |
2.3 |
2.6 |
2.8 |
| 0.1% |
0.0 |
0.2 |
0.5 |
0.7 |
0.9 |
1.1 |
1.3 |
1.5 |
1.8 |
2.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|
Benefício para peso = 0,9
| 100.0% |
9.0 |
9.1 |
9.2 |
9.3 |
9.4 |
9.6 |
9.7 |
9.8 |
9.9 |
10.0 |
| 50.0% |
8.1 |
8.2 |
8.3 |
8.4 |
8.5 |
8.7 |
8.8 |
8.9 |
9.0 |
9.1 |
| 20.0% |
6.9 |
7.0 |
7.1 |
7.2 |
7.3 |
7.5 |
7.6 |
7.7 |
7.8 |
7.9 |
| 10.0% |
6.0 |
6.1 |
6.2 |
6.3 |
6.4 |
6.6 |
6.7 |
6.8 |
6.9 |
7.0 |
| 5.0% |
5.1 |
5.2 |
5.3 |
5.4 |
5.5 |
5.7 |
5.8 |
5.9 |
6.0 |
6.1 |
| 2.0% |
3.9 |
4.0 |
4.1 |
4.2 |
4.3 |
4.5 |
4.6 |
4.7 |
4.8 |
4.9 |
| 1.0% |
3.0 |
3.1 |
3.2 |
3.3 |
3.4 |
3.6 |
3.7 |
3.8 |
3.9 |
4.0 |
| 0.5% |
2.1 |
2.2 |
2.3 |
2.4 |
2.5 |
2.7 |
2.8 |
2.9 |
3.0 |
3.1 |
| 0.2% |
0.9 |
1.0 |
1.1 |
1.2 |
1.3 |
1.5 |
1.6 |
1.7 |
1.8 |
1.9 |
| 0.1% |
0.0 |
0.1 |
0.2 |
0.3 |
0.4 |
0.6 |
0.7 |
0.8 |
0.9 |
1.0 |
|
1000 |
500 |
200 |
100 |
50 |
20 |
10 |
5 |
2 |
1 |
|