Machine Learning · Insper

Introdução & História

Abordagem avançada

Como o machine learning (ML) chegou até aqui e que perguntas o resto do curso vai responder

O caminho desta parte

200 anos de marcosestatística e ciência da computação
O perceptron e os invernosuma tabela de caixas × um modelo; hype e retomadas
Lendo a trajetóriatrês lições para este curso
O curso pela frenteML clássico de ponta a ponta, até a fronteira

Cada etapa responde a uma pergunta: que marcos nos trouxeram até aqui? → por que o aprendizado parou duas vezes e o que o trouxe de volta? → o que a história ensina a este curso? → o que o curso cobre e em que ordem?

Etapa 1 · que marcos nos trouxeram até aqui?

Uma conversa de 200 anos: estatística e ciência da computação

quando	marco
1805	mínimos quadrados: a base histórica da regressão
1886	regressão à média: a palavra "regressão" entra na estatística
1920s–1936	fundamentos estatísticos: a inferência moderna toma forma
1950	a pergunta de Turing: máquinas podem pensar?
1956–1959	o nascimento da inteligência artificial (IA) e o perceptron
1969–1980	primeiro inverno da IA: o hype encontra seus limites

… até a fronteira atual

quando	marco
1984–1986	backpropagation e árvores de decisão: o aprendizado renasce em duas frentes
1995–1997	era do aprendizado estatístico: teoria rigorosa, algoritmos poderosos
2001	ensembles e as "duas culturas": os cavalos de batalha do ML tabular
2012–2016	a virada do deep learning: as redes neurais voltam, em escala
2017–2018	transformers: attention is all you need
2020–hoje	modelos de fundação: um modelo, muitas tarefas

A linha do tempo completa, com as fontes, está na página da aula.

Etapa 2 · por que o aprendizado parou duas vezes e o que o trouxe de volta?

Caixas de fósforos e perceptron: uma tabela × um modelo

Os dois aprendem com feedback sobre os próprios erros: uma derrota tira uma conta; um erro empurra os pesos do perceptron na direção da resposta certa (Rosenblatt, 1958).

máquina de caixas de fósforos

uma caixa por posição: uma tabela de consulta

o que ela aprende numa caixa não diz nada sobre as outras; uma posição que ela nunca viu não tem caixa alguma

perceptron

poucos pesos, compartilhados por todas as entradas

cada atualização muda a resposta em exemplos que ele nunca viu

O perceptron generaliza. O Hexapawn cabe em 19 caixas; quase nenhum problema real cabe. Por isso todo modelo deste curso é uma função com parâmetros, não uma tabela de respostas.

Dois invernos, duas retomadas

quando	o que aconteceu
1969–1973	Minsky e Papert: um perceptron sozinho não aprende o XOR (ou exclusivo); o Relatório Lighthill: a IA não cumpriu o prometido
1974–1980	primeiro inverno: as verbas desabam nos Estados Unidos e no Reino Unido
1984–1986	a retropropagação treina redes de várias camadas, que resolvem o XOR; CART e ID3 tornam as árvores práticas
1987–1993	segundo inverno: desaba a onda dos sistemas especialistas, programas de regras escritas à mão
1995–2001	aprendizado estatístico: máquinas de vetores de suporte, boosting, random forests; teoria e validação honesta
2012–	deep learning: grandes conjuntos de dados rotulados, unidades de processamento gráfico (GPUs) e software aberto

Os dois invernos têm a mesma forma: as promessas ultrapassaram os resultados.

Etapa 3 · o que a história ensina a este curso?

Lendo a trajetória: três lições para este curso

os clássicos nunca foram embora

os mínimos quadrados (1805) ainda são o primeiro modelo de regressão a tentar; a regressão logística (1958) é um cavalo de batalha em produção

os ciclos de hype são reais

dois invernos da IA (por volta de 1974–1980 e 1987–1993); a avaliação honesta é o antídoto

moderno = clássico, composto

o BERTopic (2022) é embeddings + redução de dimensionalidade + agrupamento + TF-IDF (frequência do termo × frequência inversa nos documentos)

Conhecer as partes permite entender o todo e depurá-lo.

Etapa 4 · o que o curso cobre e em que ordem?

Onde este curso se encaixa

Machine learning clássico de ponta a ponta: dados, aprendizado não supervisionado, regressão, classificação, árvores e ensembles.
Ele termina na fronteira: redes neurais, explicabilidade, AutoML (aprendizado de máquina automatizado), MLOps (operações de machine learning) e modelos de fundação.
O deep learning ganha uma aula de transição aqui; seu tratamento completo está no curso complementar Artificial Neural Networks and Deep Learning.

As perguntas que o curso vai responder

pergunta	onde
tipos de aprendizado; vai funcionar em casos que nunca viu?	o panorama de ML
como são os dados, estão prontos?	análise exploratória, pré-processamento, pipelines
estrutura sem rótulo algum?	redução de dimensionalidade, agrupamento
prever um número?	regressão linear, gradiente descendente e regularização
prever uma classe?	regressão logística, k vizinhos mais próximos, SVM, árvores, ensembles
quão bom o modelo é, de verdade?	métricas de classificação, curvas ROC e PR, validação cruzada
qual modelo, com quais ajustes?	seleção de modelos
por que ele decidiu isso? como roda em produção?	explicabilidade, MLOps

SVM = máquina de vetores de suporte (support vector machine); ROC = característica de operação do receptor (receiver operating characteristic); PR = precisão–revocação (precision–recall).

Lab avançado · cerca de 25 min, em duplas

O que a máquina aprendeu e o mapa do curso, passos 4 a 6

Passo 4, no simulador das caixas de fósforos: treine contra o oponente guloso. Um professor mais forte faz uma máquina mais forte?
Passo 5: a linha do tempo como mapa do curso. Passo 6: desmonte random forest, gradient boosting e BERTopic em peças clássicas.
Em cada passo, responda o Preveja antes de agir.
Simulação: troque o professor (passo 4).

Ritmo: passo 4 e a simulação em 10 min; passo 5 em 8 min; passo 6 em 7 min.