8.2. Regression

Regressão prevê um número, então o erro também é um número — e é aí que está toda a dificuldade. Em classificação o erro é um fato: certo ou errado. Aqui toda previsão está um pouco errada, e uma métrica é uma decisão sobre como somar toda essa falta de acerto. Formas diferentes de somar premiam modelos completamente diferentes, então a métrica não é um relatório no fim; é uma especificação no começo.

Tudo abaixo é construído sobre o resíduo:

e difere apenas no que faz com o sinal, a magnitude e os outliers.

A escolha que decide tudo: absoluto ou quadrático

Parecem dois sabores da mesma ideia. Não são, e a diferença tem enunciado preciso: elas são minimizadas por previsões diferentes.

• Minimizar o MSE entrega a média da distribuição do alvo¹.
• Minimizar o MAE entrega a mediana.

Por isso a escolha não é questão de gosto. Se você treina um modelo de tempo de entrega com MSE, ele prevê o tempo médio, e médias são puxadas para cima pelo desastre raro. Treine com MAE e ele prevê o tempo que metade das entregas bate — em geral o que o cliente estava perguntando. Mesmos dados, mesma arquitetura, pergunta respondida diferente.

Abaixo: um conjunto de tempos de entrega com cauda longa à direita. As curvas são o MSE e o MAE como funções de uma única previsão constante \(c\); arraste o \(c\) e veja onde cada uma atinge o fundo.

RMSE: as unidades voltam

O MSE está em unidades ao quadrado — minutos ao quadrado, reais ao quadrado — que ninguém consegue interpretar. Tirar a raiz resolve:

O RMSE mantém a preferência do MSE pela média e a sensibilidade a erros grandes, mas se lê na mesma unidade do alvo. Isso o torna o padrão para relatório, e ele vem com um diagnóstico de brinde:

com igualdade apenas quando todos os erros têm exatamente a mesma magnitude. Então a razão RMSE/MAE mede o quanto os seus erros são desiguais. Ruído gaussiano puro dá \(\sqrt{\pi/2} \approx 1{,}25\); bem acima disso significa que algumas previsões são muito piores que as demais, e o certo é ir olhar esses casos um a um em vez de ajustar qualquer coisa.

O que um único outlier faz

Arraste o ponto vermelho. Nada mais muda: mesmos dados, mesma família de modelos, mesmo código.

Duas coisas acontecem ao mesmo tempo quando você arrasta, e só uma delas é culpa da métrica.

As métricas se movem: o RMSE cresce mais rápido que o MAE, e o MedAE — a mediana dos erros absolutos — quase não percebe, porque mediana não liga para o quão longe está o ponto distante. Isso é robustez medida, não afirmada.

O modelo também se move. A reta laranja é ajustada por mínimos quadrados, então ela persegue o outlier: a inclinação cai de 0,961 para 0,423 conforme você puxa o ponto para baixo. A reta verde, ajustada para minimizar o erro absoluto, fica em 0,989 o tempo todo. A métrica que você otimiza é o modelo que você obtém — a mesma lição da média e da mediana, agora visível no próprio ajuste.

R²: uma comparação, não uma porcentagem

Olhe o que está no denominador: o erro de prever a média de \(y\) para todo mundo. Ou seja, o \(R^2\) não mede qualidade em abstrato — mede o quanto você é melhor que a linha de base mais boba possível. Esse enquadramento resolve quase toda a confusão em torno dele:

• \(R^2 = 1\) — previsões perfeitas.
• \(R^2 = 0\) — você foi exatamente tão bem quanto chutar sempre a média. O modelo não acrescentou nada.
• \(R^2 < 0\) — possível, e comum em dados de teste. Você foi pior que a média constante. Se você nunca viu um \(R^2\) negativo, provavelmente só o calculou no conjunto de treino.

Erros percentuais, e onde eles mordem

O MAPE é popular porque "estamos errando 8%" viaja bem em reunião. Ele também tem três arestas afiadas, e a primeira sozinha já o desqualifica para muitos problemas:

1. É indefinido em \(y_i = 0\) e enorme perto disso. Previsão de demanda tem zeros. Qualquer alvo de contagem tem zeros.
2. É assimétrico. Prever 50 quando a verdade é 100 dá 50%. Prever 150 quando a verdade é 100 também dá 50%, mas prever 200 dá 100% — enquanto o maior erro possível por subestimação é limitado a 100%. Otimizar MAPE, portanto, enviesa o modelo a prever baixo.
3. Ele pesa enormemente os alvos pequenos. Errar por 1 unidade em um valor verdadeiro de 2 custa 50%; o mesmo erro absoluto sobre 1000 custa 0,1%.

Prever uma faixa em vez de um número

Às vezes um número só é a saída errada. A perda quantílica (ou pinball) treina o modelo para prever o quantil \(\tau\) em vez da média:

Leia como um MAE assimétrico: com \(\tau = 0{,}9\), subestimar é punido nove vezes mais que superestimar, então o modelo aprende um valor que ele só vai ultrapassar em 10% das vezes. Treine três modelos em \(\tau = 0{,}1;\ 0{,}5;\ 0{,}9\) e você tem um intervalo de previsão em vez de um ponto — muitas vezes bem mais útil para quem precisa agir sobre ele. Note que \(\tau = 0{,}5\) é o MAE, a menos de um fator dois⁴.

Qual métrica, e por quê

No código

import numpy as np
from sklearn.metrics import (mean_absolute_error, root_mean_squared_error,
                             median_absolute_error, r2_score)

mae  = mean_absolute_error(y_test, pred)
rmse = root_mean_squared_error(y_test, pred)          # sklearn >= 1.4
medae = median_absolute_error(y_test, pred)
r2   = r2_score(y_test, pred)

# as linhas de base — reporte sempre ao lado do modelo
mean_rmse   = root_mean_squared_error(y_test, np.full_like(y_test, y_train.mean()))
median_mae  = mean_absolute_error(y_test, np.full_like(y_test, np.median(y_train)))

print(f"RMSE {rmse:.3f} vs {mean_rmse:.3f} prevendo a média")
print(f"MAE  {mae:.3f} vs {median_mae:.3f} prevendo a mediana")
print(f"RMSE/MAE {rmse/mae:.2f}  (≈1,25 para erros gaussianos; acima disso, cauda pesada)")
print(f"R² {r2:.3f}   ({'pior que a média!' if r2 < 0 else 'melhor que a média'})")

As definições exatas de cada função — incluindo as convenções de sinal dos scorers neg_*, que derrubam todo mundo na primeira vez que usam cross_val_score — estão no guia do scikit-learn⁵.

Pontos-chave

1. A métrica não é um relatório, é uma especificação: minimizar MSE pede a média condicional, minimizar MAE pede a mediana. Decida qual delas o seu usuário quer.
2. O RMSE é o padrão sensato para reportar — mesma unidade do alvo — e a razão RMSE/MAE já diz de graça o quanto os erros são desiguais.
3. O MedAE é a leitura robusta; use quando a cauda é genuína e você se recusa a persegui-la.
4. O R² compara você com prever a média. Ele pode ser negativo, e não é comparável entre conjuntos de dados.
5. O MAPE é indefinido em zero, assimétrico, e enviesa o modelo a prever baixo. Prefira MASE ou WAPE.
6. Reporte sempre uma linha de base — média, mediana ou última observação. Um modelo que não a bate não é um modelo.
7. Se a decisão precisa de uma faixa, treine quantis e entregue o intervalo.

Recursos Adicionais

1. Evaluating forecast accuracy — Hyndman, R. J., & Athanasopoulos, G., Forecasting: Principles and Practice (3ª ed.). O tratamento mais claro de erros dependentes e independentes de escala, escrito por quem propôs o MASE. Gratuito online, e os capítulos vizinhos são a referência sobre linhas de base.

2. Regression metrics — Guia do scikit-learn. Definições exatas, incluindo as convenções de sinal dos scorers neg_*.

3. Root mean square error (RMSE) or mean absolute error (MAE)? — Chai, T., & Draxler, R. R. (2014)⁶. Um argumento curto e legível dentro de uma discordância real entre pesquisadores — vale ler contra o caso oposto de Willmott & Matsuura¹ para ver que a escolha é mesmo uma decisão de modelagem, e não um fato resolvido.

Referências bibliográficas

As obras citadas ao longo do texto, na ordem em que aparecem: