ROC e PR

Um modelo de escores é uma família de classificadores

Escolha um limiar \(t\), sinalize todo mundo com escore \(\geq t\) e você tem uma matriz de confusão. Duas taxas a resumem:

• a TPR (true positive rate, taxa de verdadeiros positivos) é a fração dos doentes que pegamos;
• a FPR (false positive rate, taxa de falsos positivos) é a fração dos saudáveis que alarmamos.

TP, FN, FP e TN: verdadeiros positivos, falsos negativos, falsos positivos e verdadeiros negativos.

O caminho desta parte

Cada linha da tabela é um limiar

A escada ROC

• (0, 0): ninguém sinalizado;
• (1, 1): todo mundo sinalizado;
• a diagonal: escores aleatórios — sinaliza doentes e saudáveis na mesma taxa.

Um bom modelo sobe cedo: encontra os doentes primeiro. Um perfeito sobe até (0, 1) e só então vai para a direita.

Simulador: deslize o limiar

Preveja. A mesma ideia em 600 escores simulados (500 negativos, 100 positivos). Baixe o limiar a partir de 0,5: para onde vai o ponto ROC e o que acontece com a precisão?

AUC, de duas maneiras

A AUC mede a separação entre as classes

Só a ordem importa

AUC 0,14 não é um modelo ruim: é um bom modelo com os rótulos trocados.

Escores, não rótulos

# errado: rótulos previstos (saída de predict)
labels = (score >= 0.5).astype(int)
roc_auc_score(sick, labels)             # 0.75  ← NÃO é a AUC do modelo
balanced_accuracy_score(sick, labels)   # 0.75  ← é isto que você calculou

# certo: escores (predict_proba(X)[:, 1])
roc_auc_score(sick, score)              # 0.86  ← a AUC do modelo
  

• Com só dois valores distintos, a "curva" tem um ponto, ligado aos cantos por retas.
• A área vira \((\text{TPR} + \text{TNR})/2\), com TNR = taxa de verdadeiros negativos (especificidade), que é a acurácia balanceada em 0,5.

A curva precisão–recall (PR)

A ROC olha as duas classes separadamente. O médico pergunta outra coisa: dos pacientes que eu sinalizo, quantos estão mesmo doentes?

• cada doente: recall sobe e a precisão sobe um pouco;
• cada saudável: recall fica e a precisão cai.

A linha "sem habilidade" é uma horizontal na prevalência (aqui 0,5), não a diagonal.

Precisão média (AP, average precision)

Quando a classe positiva é rara

O mesmo escorador, mudando só quantos doentes existem:

A precisão em termos da prevalência

Precisão: dos pacientes sinalizados, a fração que está mesmo doente, \(TP/(TP + FP)\). Prevalência \(\pi\): a fração de doentes na população. Em \(N\) pessoas:

Por quê: olhe os denominadores

• a FPR divide pelo número de saudáveis: é uma propriedade do modelo dentro de uma classe, cega para quantos doentes existem;
• a precisão divide pelos sinalizados, que mistura as duas classes na proporção de seus tamanhos.

Escolhendo o limiar: quatro critérios

critério	\(t\)
F1 máximo	0,35
J de Youden = TPR − FPR	0,45 ou 0,35
recall ≥ 0,9, melhor precisão	0,35
custo mínimo, FN = 10 FP	0,20

F1: média harmônica de precisão e recall. O padrão 0,5 custa 32; o mínimo custa 5.

Quando os escores são calibrados, há fórmula

• sinalizar um paciente com probabilidade \(p\) custa \((1-p)\,c_{FP}\) em média; não sinalizar custa \(p\,c_{FN}\);
• sinalize quando o segundo for maior (Elkan, 2001).

0,5 só é o limiar certo quando os dois erros custam o mesmo e os escores são calibrados.

Resumo

Mamografias: as curvas, passos 1 a 5

• 11.183 regiões, 2,3% malignas; a tarefa é sinalizá-las para um radiologista.
• Notebook no Colab: nada para baixar. Salve uma cópia no seu Drive.
• Em cada passo, responda o Preveja antes de rodar.
• Simulações: a AUC só enxerga a ordem (passo 4) e o preço de cada ponto de recall (passo 5).

Ritmo: passos 1 a 3 em 10 min; passo 4 e a simulação em 12 min; passo 5 e a simulação em 13 min.