8.1. Classification

Um modelo não tem "uma acurácia". Ele tem uma família inteira de comportamentos, um para cada limiar que você poderia pôr na saída dele, e cada métrica resume essa família por um ângulo diferente. Escolher o resumo errado não é erro de arredondamento — costuma significar colocar em produção um modelo que não serve para a tarefa para a qual foi construído.

Por isso esta página é organizada em torno de uma única pergunta: que decisão você está tomando, e quanto custa errar? Toda métrica aqui é uma resposta a alguma versão dessa pergunta, e a questão é saber qual delas está fazendo a sua.

Por que a acurácia é uma armadilha

Comece com um exame de rastreio para uma doença que atinge 1 em cada 100 pessoas. Eis um modelo:

def prever(paciente):
    return "saudável"          # sempre

Em 10 000 pacientes ele acerta 9 900. 99% de acurácia — melhor que a maioria dos modelos publicados, e passaria em qualquer painel que reporte um número só. Ele também deixa passar todos os doentes, ou seja, como exame de rastreio não vale absolutamente nada.

Isso não é um exemplo forçado, é a situação normal. Fraude é rara. Falha de equipamento é rara. Raro é exatamente quando detectar importa, e a acurácia é mais enganosa justamente aí: a classe majoritária afoga o número que você está lendo.

A matriz de confusão: de onde vem toda métrica

Tudo — toda métrica deste capítulo — são quatro números arranjados em um quadrado. Prever "doente" para quem está doente é um verdadeiro positivo; prever "doente" para quem está saudável é um falso positivo¹.

Os dois erros não são intercambiáveis, e o nome que eles têm no seu domínio já diz qual métrica procurar:

Precisão e revocação existem porque essas duas colunas precisam ser lidas separadamente:

As fórmulas se parecem e a diferença entre elas é o assunto inteiro, então leia-as como perguntas:

• Precisão — de tudo que sinalizei, quanto era real? Divide pelo que o modelo afirmou. É a métrica de quem vai agir sobre os alertas.
• Revocação — de tudo que é real, quanto eu peguei? Divide pelo que a realidade contém. É a métrica de quem vai sofrer com o que passou batido.

Tudo se move quando você move o limiar

Um classificador não devolve uma classe. Ele devolve um escore, e alguém escolheu um corte — geralmente 0,5, geralmente sem pensar. Essa escolha não faz parte do modelo; faz parte da decisão, e é aí que precisão e revocação trocam uma pela outra.

Abaixo: duas distribuições de escores, negativos em azul e positivos em laranja. Arraste o limiar e veja a matriz de confusão, todas as métricas e a posição nas duas curvas se moverem juntas.

Três experimentos, nesta ordem:

1. Deixe a prevalência em 50% e varra o limiar. Precisão e revocação se movem em direções opostas — sempre. Abaixe o limiar e você pega mais positivos (revocação ↑) sinalizando mais inocentes (precisão ↓). Não existe ajuste em que as duas sejam máximas; existe só o ajuste que combina com os seus custos.
2. Ponha a prevalência em 1% e deixe o limiar em 0,50. A acurácia marca cerca de 0,505 enquanto "prever sempre negativo" faz 0,990. O simulador avisa em vermelho. Toda métrica que mistura as duas classes em um número só faz isso.
3. Mantenha o modelo fixo e mude apenas a prevalência. A ROC-AUC não se mexe — 0,921 a 50%, a 10% e a 1%. A PR-AUC desaba: 0,899 → 0,643 → 0,248. O modelo não piorou; a tarefa piorou, e só uma das duas curvas percebeu.

Esse terceiro experimento é o argumento inteiro sobre qual curva usar, então vale dizer por que ele acontece. A ROC põe a revocação contra a taxa de falsos positivos, \(FP/(FP+VN)\) — e o denominador dela são os negativos, que é exatamente a classe que cresce quando os positivos ficam raros. Dez alarmes falsos em um milhão de negativos é uma TFP invisível. A precisão divide esses mesmos dez alarmes falsos pelo punhado de positivos verdadeiros, onde eles são catastróficos. Quando os positivos são raros e os alarmes falsos são caros, a ROC vai lisonjear o seu modelo e a PR vai contar a verdade²³.

F1, e quando a média harmônica é a média errada

A média harmônica é implacável de propósito: ela fica perto da menor das duas. Com \(P = 1{,}0\) e \(R = 0{,}01\) a média aritmética é uns respeitáveis 0,505, enquanto \(F_1 = 0{,}0198\). É essa a ideia — a F1 se recusa a deixar um modelo esconder uma revocação catastrófica atrás de uma precisão excelente.

Mas a F1 embute uma opinião específica — a de que precisão e revocação importam igualmente — e essa opinião costuma estar errada. O \(F_\beta\) deixa você declarar a sua:

\(\beta\) é quantas vezes você se importa mais com revocação do que com precisão. O \(F_2\) (revocação com o dobro do peso) é padrão em rastreio médico; o \(F_{0,5}\) (precisão com o dobro do peso), em recomendação e busca. Se você consegue nomear a razão entre os custos, não deveria estar usando \(F_1\).

Qual métrica, e por quê

Multiclasse: micro, macro, ponderada

A partir de três classes, "a F1" deixa de existir — você precisa dizer como as F1 por classe são promediadas, e a escolha muda completamente a resposta. Pegue um problema de 1 000 amostras com classes A (900), B (90) e C (10):

Esses são os números da matriz abaixo. Mova a revocação de qualquer classe e veja qual das três médias percebe:

Releia os três números. A micro diz 0,938, a ponderada diz 0,937 — e o modelo acerta a classe C 3 vezes em 10. A macro é a única que reporta a falha, e a distância entre macro e ponderada mede diretamente o quanto você vai pior nas classes raras. Se for reportar um número em um problema multiclasse desbalanceado, reporte a macro.

Probabilidades, não apenas rótulos

Ordenar e cortar por limiar ignoram uma pergunta que importa em produção: quando o modelo diz 0,8, o evento acontece 80% das vezes? Um modelo pode ordenar perfeitamente e ainda assim ser sistematicamente confiante demais — e, se um humano ou um sistema a jusante consome esses números como probabilidades, o erro é silencioso e caro.

O limiar é uma decisão de negócio, e tem fórmula

"Use 0,5" é um padrão herdado do argmax, não uma decisão. Se você consegue dizer quanto uma perda custa em relação a um alarme falso, o corte ótimo sai exato. Prever positivo em um caso cuja probabilidade verdadeira é \(p\) tem custo esperado \(C_{FP}(1-p)\); prever negativo custa \(C_{FN}\,p\). Vale sinalizar quando o primeiro for menor⁸, o que acontece quando

Leia assim: se uma perda custa 9× um alarme falso, então \(p^\star = 1/10\) — sinalize tudo acima de 10%, não de 50%. O padrão 0,5 só está certo quando os dois erros custam o mesmo, o que quase nunca é o motivo pelo qual ele foi escolhido.

Repare no que o simulador não precisa: um modelo melhor. Mesmos pesos, mesmos escores, tudo igual — só o corte se move, e o custo esperado muda dezenas de por cento. Escolher o limiar costuma ser a melhoria mais barata disponível para um modelo já em produção, e é a que mais fica no valor padrão.

No código

Toda métrica acima tem uma chamada no scikit-learn⁹, e a ordem das chamadas é o argumento desta página: primeiro ordene, depois escolha o limiar a partir dos custos, depois reporte a matriz.

from sklearn.metrics import (classification_report, confusion_matrix,
                             roc_auc_score, average_precision_score,
                             precision_recall_curve, brier_score_loss)

probs = model.predict_proba(X_val)[:, 1]

# sem limiar: os dois resumos, que respondem a perguntas diferentes
print("ROC-AUC:", roc_auc_score(y_val, probs))           # qualidade da ordenação
print("PR-AUC :", average_precision_score(y_val, probs))  # ordenação onde os positivos são raros

# escolha o limiar pelos custos, em dados de validação — nunca no teste
prec, rec, thr = precision_recall_curve(y_val, probs)
C_FP, C_FN = 1.0, 10.0
p_star = C_FP / (C_FP + C_FN)                             # = 0,0909...

pred = (probs >= p_star).astype(int)
print(confusion_matrix(y_val, pred))
print(classification_report(y_val, pred, digits=3))       # P/R/F1 por classe + macro e ponderada

# 0,8 é mesmo 80%?
print("Brier:", brier_score_loss(y_val, probs))

Pontos-chave

1. A acurácia responde "com que frequência eu acerto", que é a pergunta errada sempre que as classes estão desbalanceadas ou os dois erros custam valores diferentes. Compare-a sempre com a linha de base de prever sempre a classe majoritária.
2. Toda métrica aqui são quatro números em um quadrado. Na dúvida, olhe a matriz de confusão; é o único relatório que não consegue esconder nada.
3. A precisão divide pelo que você alegou; a revocação, pelo que é verdade. Qual delas importa decorre de qual erro dói.
4. A ROC-AUC mede ordenação e independe da prevalência — o que é virtude ao comparar modelos e armadilha quando os positivos são raros. Ali a honesta é a PR-AUC.
5. A F1 supõe que precisão e revocação importam igualmente. Se você sabe nomear a razão, use \(F_\beta\); se os negativos também importam, use MCC.
6. No multiclasse, a promediação é a métrica. A macro é a que percebe as classes raras.
7. Ordenar não é calibrar. Se um humano ou um sistema consome a probabilidade, meça-a — log loss, Brier, curva de calibração — e corrija com escalonamento por temperatura.
8. O limiar não faz parte do modelo. Ele vem de \(p^\star = C_{FP}/(C_{FP}+C_{FN})\), e movê-lo costuma ser o ganho mais barato disponível.

Recursos Adicionais

1. ROC and AUC, Clearly Explained! — Starmer, J., StatQuest. Constrói a curva ROC limiar a limiar, que é exatamente o que o primeiro simulador anima. Assista se a curva ainda parecer uma fórmula em vez de uma figura:

2. Metrics and scoring: quantifying the quality of predictions — Guia do scikit-learn. A referência do que cada função de fato calcula, incluindo as regras de promediação que decidem o que f1_score significa no caso multiclasse.

3. Classification: Accuracy, recall, precision — Google Machine Learning Crash Course. Uma segunda passada pelos mesmos compromissos com outros exemplos resolvidos, e uma boa fonte de exercícios.

Referências bibliográficas

As obras citadas ao longo do texto, na ordem em que aparecem: