Handouts
Roteiros de aula completos, em formato de página única. Cada um traz todos os gráficos renderizados a partir de execuções reais, o código para reproduzi-los e checkpoints com solução.
São complementares ao conteúdo das aulas, não substitutos: aprofundam um tópico específico e servem tanto para acompanhar a aula quanto para consulta posterior.
-
Métricas e avaliação: escolhendo o número que decide
Detecção de fraude — 20 000 transações, 2,5% delas fraudulentas, onde o modelo que não faz nada acerta 97,5%.
Um único problema percorrido do dado cru até a decisão, com um modelo que não é retreinado depois do segundo bloco: o que muda do começo ao fim é qual número olhamos. A taxa base e a linha de base trivial; três modelos comparados por AUC-ROC e por precisão média, que aqui ordenam os modelos de forma diferente; o efeito da taxa base sobre cada curva, medido por subamostragem; o limiar derivado do custo dos dois erros, contra o 0,5 de fábrica que custa o dobro; calibração por escala de Platt, que corta o ECE em seis vezes sem mover a quarta casa da AUC. Fecha com regressão em dados reais: linhas de base, RMSE/MAE e o gráfico de resíduos.
~2 h · 7 figuras · 3 modelos · 6 checkpoints com solução
Uso em sala
Cada roteiro tem índice lateral com âncoras, botão de copiar em todos os blocos de código e folha de estilo própria para impressão — o menu, os botões e os elementos interativos são omitidos ao imprimir ou gerar PDF.
Os simuladores deste capítulo estão nas páginas da aula: limiar, matriz de confusão, custo e calibração em classificação e média × mediana, outlier e resíduos em regressão.