AutoML

A pergunta que nenhuma aula fez

• Todo modelo vem com botões; Seleção de Modelos explicou o que eles fazem, Validação Cruzada como comparar os resultados com honestidade.
• Uma grade com 5 hiperparâmetros e 5 valores cada: 3.125 validações cruzadas, a maioria em regiões que já se mostravam ruins depois das primeiras doze.

O caminho desta aula

Uma chamada à caixa-preta

\(\lambda\): uma configuração. \(f(\lambda)\): o seu escore de validação cruzada (CV). Ajustar = encontrar o \(\lambda\) com o maior \(f(\lambda)\).

• kc1: 2.109 módulos de software de um sistema de voo da NASA, 21 métricas de código; alvo: um defeito foi encontrado depois? (15,5% com defeito)
• Uma chamada = a área sob a curva ROC (ROC AUC) em CV 5-fold de um modelo de boosting.

Cara, ruidosa e uma caixa-preta

Desenhando o espaço (1): a escala

À mão: \(0{,}009 / 0{,}999 = 0{,}9\%\); na escala log, cada uma das 3 décadas recebe um terço.

Desenhando o espaço (2): botões condicionais

• C pertence à regressão logística, max_leaf_nodes ao boosting, gamma a um kernel RBF (de base radial).
• Uma grade única sobre todos eles combinaria cada C com cada tamanho de árvore: a mesma regressão logística, ajustada repetidamente.

Grade ou aleatória? O argumento

• Um escore que depende de um hiperparâmetro \(x_1\) (uma lombada de largura 0,05); os outros \(d - 1\) não fazem nada.
• Uma grade com \(k\) valores por eixo custa \(k^d\) avaliações, mas testa \(x_1\) em apenas \(k\) valores.
• A busca aleatória com orçamento \(B\) testa \(x_1\) em \(B\) valores, qualquer que seja \(d\).

Grade ou aleatória? Medido em 4.000 problemas

d	orçamento	grade	aleatória
2	9	0,378	0,629
2	81	0,824	0,985
3	27	0,378	0,900
4	81	0,378	0,986
4	256	0,501	0,998

Melhor escore médio. A grade paga cada eixo irrelevante com uma multiplicação do seu custo; a busca aleatória não paga nada (Bergstra & Bengio, 2012).

Simulador: mesmo orçamento, buscas diferentes

Preveja. Orçamento 81: quantos valores distintos de \(x_1\) a grade 9 × 9 testa e quantos a busca aleatória testa?

Otimização bayesiana: uma busca que aprende

A busca aleatória sorteia a 27.ª configuração exatamente como a primeira. Quando cada avaliação custa uma hora, isso é desperdício.

1. ajuste um modelo substituto barato aos pares (configuração, escore) vistos até agora: ele prevê o escore em qualquer ponto, com uma incerteza;
2. escolha a próxima configuração maximizando uma função de aquisição: exploração local (escore previsto alto) contra exploração (incerteza alta);
3. avalie, acrescente ao histórico, repita.

Um escore de mentira, com verdade conhecida: um pico largo de 0,78 em 0,25 e outro, mais alto e mais estreito, de 0,82 em 0,72.

O substituto: um processo gaussiano (GP)

Três avaliações até agora: 0,15 e 0,35 (0,72943), 0,95 (0,700). Melhor até agora: \(f^+ = 0{,}72943\).

Melhoria esperada (EI), à mão

Quatro iterações

1: explora localmente 0,25 → 0,780. 2: a EI ali desaba, então ela explora o vão → 0,72, 0,820. 3–4: refinam em 0,685 e 0,775. A busca aleatória precisaria de uns 28 sorteios para cair tão perto de 0,72.

As hipóteses do substituto importam

100 rodadas a partir de trios iniciais aleatórios, 30 avaliações cada. Fração das rodadas que chegaram a 0,81:

TPE: modelar \(x\) dado o escore

• Tree-structured Parzen Estimator: separe as tentativas nas boas (a melhor fração \(\gamma\)) e no resto.
• Densidade dos valores bons \(\ell(x)\), densidade dos outros \(g(x)\): uma lombada gaussiana por tentativa.
• Amostre onde \(\ell(x)/g(x)\) é maior (Bergstra et al., 2011).

Optuna: TPE contra busca aleatória, medido

Seis hiperparâmetros: um importa muito, um importa pouco, quatro não importam nada. Melhor possível: 0,870. 20 sementes.

Idênticos em 10: as 10 primeiras tentativas do TPE são aleatórias. Depois de 40, ele está acima do que a busca aleatória alcança depois de 60.

Define-by-run: o espaço de busca é código

def build(trial):
    family = trial.suggest_categorical('family', ['logistic', 'boosting'])
    if family == 'logistic':
        C = trial.suggest_float('C', 1e-3, 1e2, log=True)
        return make_pipeline(FunctionTransformer(np.log1p), StandardScaler(),
                             LogisticRegression(C=C, max_iter=2000))
    return HistGradientBoostingClassifier(
        learning_rate=trial.suggest_float('learning_rate', 0.01, 0.5, log=True), ...)
  

Poda: pare cedo uma tentativa ruim

• O objetivo informa a média corrente depois de cada fold (trial.report).
• O podador pela mediana para uma tentativa pior do que a mediana das tentativas anteriores no mesmo fold.

Halving sucessivo: um torneio

Comece \(n = 27\) configurações com um orçamento pequeno; fique com o melhor terço; dê aos sobreviventes 3 × mais; repita.

O que o torneio supõe

A ordem depois de um orçamento pequeno prevê a ordem depois do orçamento completo. Dois torneios: orçamento em árvores, orçamento em linhas.

vencedor, orçamento em	escore completo	posição
árvores	0,781	13.º de 27
linhas	0,787	5.º de 27
melhor com o orçamento completo	0,791	1.º

Com uma taxa de aprendizado pequena, 10 árvores mal começaram: quem aprende devagar, o melhor com 270 árvores, foi todo eliminado na rodada 1.

Hyperband: vários torneios

Quão agressivo deve ser o torneio? O Hyperband roda brackets de agressividade diferente, cada um custando mais ou menos o mesmo (Li et al., 2018).

AutoML de pipeline completo: o problema CASH

Combined Algorithm Selection and Hyperparameter optimization: seleção do algoritmo e dos hiperparâmetros juntos (Thornton et al., 2013).

Ele otimiza o vazamento que você deu

bug_reports: preenchida depois do lançamento; o modelo precisa apontar módulos arriscados antes do lançamento, quando a contagem é zero para todo mundo.

Toda verificação automática passa. O vazamento está nos dados: só quem sabe quando cada coluna é registrada consegue pegá-lo.

Uma busca mais longa sobreajusta os dados de validação

O resto do trabalho

E a implantação: um ensemble empilhado de 40 modelos pode ser o mais difícil de servir, explicar e retreinar.

Um padrão prático

1. Tranque um conjunto de teste e fixe um único cv.
2. Baselines primeiro: um dummy, um modelo linear, um boosting com os valores padrão.
3. Busca aleatória ou Optuna, de 30 a 100 tentativas, escalas log, o modelo simples no espaço.
4. Para dados grandes ou modelos lentos: halving ou poda, com uma unidade de orçamento que não interaja com os botões.
5. Pare quando o melhor escore deixar de se mover mais do que o próprio desvio-padrão entre folds.
6. Relate o escore de teste trancado ou uma CV aninhada da busca inteira, nunca o melhor escore da própria busca.

Quatro buscas, um orçamento

phoneme: 5.404 vogais, orais ou nasais. Grade, busca aleatória, TPE e halving recebem 27 avaliações cada.

Escolhido (melhor CV): o vencedor do halving, CV 0,9528, teste 0,9455; os valores padrão caem o mesmo tanto (0,9468 → 0,9374).

Busca aleatória: best_score_ 0,9499; estimativa aninhada 0,9472 ± 0,0067.

Rode !pip install optuna antes. Notebook do lab (Jupyter ou Colab, Arquivo → Fazer upload de notebook).

Resumo

1. Ajustar é uma caixa-preta cara e ruidosa: o orçamento é o número de chamadas.
2. Desenhe o espaço: escalas log e botões condicionais.
3. A busca aleatória vence a grade quando só alguns botões importam.
4. Otimização bayesiana e TPE aprendem onde olhar; as hipóteses deles importam.
5. Halving e Hyperband param cedo as configurações ruins, se a ordem inicial estiver certa.
6. Uma busca otimiza seus vazamentos e a própria sorte: avalie-a em dados intocados.