MLOps

Esta aula começa onde as outras terminaram

• Até aqui, toda aula terminava quando o escore de teste era impresso.
• O que gera valor são predições entregues de forma confiável a quem age com base nelas.
• MLOps (machine-learning operations): os hábitos de engenharia que levam um pipeline ajustado para produção e o mantêm confiável depois que ele chega lá.

O modelo é a caixa pequena

Sculley et al. (2015), Hidden Technical Debt in Machine Learning Systems: o código que aprende é uma caixinha cercada de infraestrutura e a maioria das falhas acontece na infraestrutura.

O resto carrega, verifica, empacota, serve, monitora e compara.

O laço e o que o monitor manda de volta

Clique nos botões: o que um alerta de drift manda de volta? E um bug de dados?

Cada seta pode quebrar sem erro nenhum

O caminho desta aula

Empacotamento: o artefato é o pipeline inteiro

Crédito alemão (1.000 empréstimos passados): 3 colunas numéricas e 5 categóricas → scaler + one-hot → regressão logística.

joblib.dump(pipe, path)                  # o pipeline INTEIRO, um arquivo
loaded = joblib.load(path)
np.array_equal(proba, loaded.predict_proba(X_test)[:, 1])
  

Por que não distribuir só o modelo?

ValueError: X has 8 features, but LogisticRegression is expecting 30 features as input.
  

• O modelo viu as 30 colunas do column transformer: 3 números padronizados + 27 indicadores one-hot.
• Servi-lo sozinho exige reconstruir essas 30 colunas à mão: mesmas médias, mesma ordem de categorias, mesmos desconhecidos. Qualquer diferença produz predições erradas sem erro nenhum.

Um pickle é um programa

class Innocent:
    def __reduce__(self):                 # diz ao pickle como reconstruir este objeto...
        return (print, ('this line ran while the file was being LOADED',))

obj = pickle.loads(pickle.dumps(Innocent()))   # ...e o carregamento obedece
  

this line ran while the file was being LOADED
  

Fixe as versões

O scikit-learn carimba sua versão em todo estimador que salva. Forjamos um arquivo de outra versão trocando um dígito do carimbo:

InconsistentVersionWarning for: ['StandardScaler', 'OneHotEncoder',
  'ColumnTransformer', 'LogisticRegression', 'Pipeline']
  

Todo estimador reclama e ainda assim o arquivo carrega. Ele pode predizer diferente.

• guarde as versões (Python, scikit-learn, NumPy) ao lado do modelo, num arquivo de metadados;
• fixe-as no ambiente de serving (requirements.txt, uma imagem de contêiner);
• ao atualizar a biblioteca, retreine e revalide.

Um formato mais seguro: skops

Ao carregar, o skops só reconstrói tipos de uma lista permitida; qualquer outro tipo precisa ser declarado confiável explicitamente.

Fora do Python, o ONNX (Open Neural Network Exchange, via skl2onnx) converte um pipeline ajustado num grafo portátil para runtimes em C++, Java ou JavaScript.

Serving: como o modelo é chamado

O pipeline aceita lixo

Só uma. As outras três recebem uma probabilidade que parece tão confiável quanto a da boa.

Um schema e uma função que o verifica

Registre o que o modelo viu no treino (uma faixa por número, uma lista por categoria) e confira cada requisição antes de predizer:

A mesma função atrás de um endpoint HTTP

# app.py  (ilustrativo: rode com uvicorn, não num notebook)
from fastapi import FastAPI
from service import predict_one           # a função testada

app = FastAPI()

@app.post('/predict')
def predict(payload: dict):
    return predict_one(payload)
  

Latência: paga-se por chamada, não por linha

Na máquina que gerou a página: 1,724 ms/linha uma de cada vez, 0,0006 ms/linha num só lote, cerca de 2.700×. Uma chamada custa cerca de 1,7 ms quer carregue uma linha, quer mil: trabalho fixo, não aritmética.

Reprodutibilidade: cada ingrediente tem uma versão

Sementes: mesmo escore, decisões diferentes

Duas random forests que diferem só na semente:

A impressão digital dos dados

training data      68ad024c9661
one value changed  7eb64a1901f0
rows shuffled      a662547f0332
same data again    68ad024c9661
  

• Um único valor alterado entre 6.000 dá uma impressão digital completamente diferente; outra ordem das linhas também.
• "Foi treinado com a extração deste mês?" vira uma comparação de strings.

Um hash apenas identifica os dados; reconstruir exige as próprias linhas (DVC, lakeFS, snapshots somente leitura).

Um registro de experimentos: uma linha por execução, nunca editada

VC: validação cruzada; dp: desvio padrão entre folds.

Monitoramento: modelos se degradam em silêncio

O serviço continua respondendo 200 OK enquanto suas predições pioram. Três camadas: sistema, qualidade dos dados, drift estatístico.

Medindo uma mudança: o PSI, à mão

PSI: índice de estabilidade populacional (population stability index).

O que quer dizer PSI = 0,25?

O nível de alarme é um deslocamento de meio desvio padrão (dp). Sem deslocamento nenhum, o PSI não é exatamente zero: duas amostras nunca têm histogramas idênticos.

Simulador: PSI faixa a faixa

Preveja. Ligue o concept drift sem mexer nas entradas. O que acontece com o PSI e com a acurácia?

Medindo uma mudança: o teste KS

KS: Kolmogorov–Smirnov.

\[ D = \max_x \left| F_{\text{ref}}(x) - F_{\text{cur}}(x) \right| \]

À mão, 1–5 contra 3–7: \(D = 0{,}4\), \(p = 0{,}873\): nada surpreendente com cinco pontos de cada lado.

As três mudanças, medidas

Os rótulos chegam atrasados: monitorar em duas velocidades

Degradar, detectar, retreinar

A população se move 0,3 dp por mês. Modelo estático vs um modelo retreinado sempre que o PSI da sua entrada passa de 0,25.

mês	estático	monitorado	melhor possível
0	0,801	0,801	0,802
2 (alerta)	0,780	0,780	0,785
6	0,759	0,814	0,830
8	0,654	0,822	0,816
12	0,273	0,849	0,850

Desalinhamento treino–serving, medido

Um novo aplicativo cliente manda um campo em outra unidade. O conjunto de teste, de três jeitos:

Colocando um modelo novo no ar com segurança

Primeiro um portão de avaliação: vencer o modelo atual em dados recentes e rotulados que nenhum dos dois viu, por mais do que o ruído. Depois, liberar em etapas:

Testes, documentação e maturidade

Produção e monitoramento de um modelo de marketing bancário

45.211 ligações de telemarketing, de maio de 2008 a novembro de 2010, na ordem em que foram feitas. Implantado em 1º de maio de 2009, acompanhado por 19 meses.

Construir e validar (1–3), empacotar e proteger (4–6), monitorar (7–9), retreinar (10), escrever o model card (11).

O PSI do escore salta para acima de 0,8 a partir do segundo trimestre: o monitor isolado mais barato e mais útil.

Notebook do lab (Jupyter ou Colab, Arquivo → Fazer upload de notebook).

Resumo

1. Distribua o pipeline inteiro, confira a ida e volta, fixe as versões; um pickle é um programa.
2. Ponha um schema na frente do modelo e responda com a versão dele.
3. Versione código, dados (um hash), ambiente, sementes e resultados.
4. Monitore entradas e escores na hora, desfechos depois; PSI para magnitudes.
5. Drift não é dano; concept drift exige rótulos.
6. Modelos novos passam por um portão e são liberados em etapas, com rollback pronto.