Arquitetura de Sistemas · Insper

Hands-on 11 — Entrega

Do git push a um canary que aborta sozinho

A história até aqui

capítulo 11 · lab 10um cluster que se cura e escala
→
capítulos 11, 12, 15 · lab 11testes, cadeia de suprimentos, orçamento, canary
→
depois · lab 12o assistente

Lab 10: um rolling update perdeu 0 de ~11.900 requisições — mas entrega qualquer imagem que você construiu, sem teste, sem scan, sem medição. Quem confere uma mudança antes que 2 M de fãs a recebam e quem a desfaz?

Dez mudanças por dia, uma venda relâmpago

Cada mudança pode quebrar o checkout: uma query lenta, uma biblioteca vulnerável, uma versão que falha
30% das requisições. Quem revisa todas elas à mão?

  • Ninguém consegue: o pipeline precisa responder "isto é seguro?" automaticamente.
  • E quando ele erra, a release precisa limitar o estrago.
  • Meça: lead time e taxa de falha de mudanças (DORA, DevOps Research and Assessment).

O pipeline

CI: integração contínua, em todo push e pull request
test (matriz)funciona? Testcontainers
performance budgeté rápido o bastante? k6
imageo que há dentro, é vulnerável, quem construiu?
na main →
Deployqual versão deve rodar? um commit no Git
pull →
no cluster
Argo CDaplica o overlay
Argo Rolloutsfaz o deploy, com cuidado

Passo 1 · Teste contra a coisa real

@SpringBootTest(webEnvironment = RANDOM_PORT)
@AutoConfigureTestRestTemplate
@Testcontainers
class CatalogApiTest {
    @Container @ServiceConnection
    static PostgreSQLContainer db = new PostgreSQLContainer("postgres:17");
    ...
}
  • Migrações, SQL, Redis e erros JSON reais — Tests run: 3, Failures: 0.
  • name: CI, permissions: contents: read, um job por serviço, cache do Maven.

Passo 2 · Cadeia de suprimentos

buildload: true, ainda sem push
→
Trivyrelatório em Security; portão: CRITICAL com correção reprova
→
SBOMSyft, SPDX: todo pacote e versão
→
pushghcr.io/…/boxoffice-catalog:sha-…
→
atestaçãoproveniência + SBOM, assinadas, ligadas ao digest
  • Escaneie antes de publicar: uma imagem vulnerável nunca chega ao registry.
  • A lista de materiais de software (SBOM, software bill of materials) responde "o que há dentro"; a proveniência assinada responde "quem construiu, a partir de qual commit".

Toda action fixada num SHA de commit (versão num comentário): uma tag pode ser movida por um atacante.

Passo 3 · Orçamento de desempenho

thresholds: {
  'http_req_duration{scenario:budget}': ['p(95)<300', 'p(99)<800'],
  'http_req_failed{scenario:budget}': ['rate<0.01'],
}
  • Ambiente fixo (.github/ci/compose.perf.yaml), aquecimento de 20 s não medido.
  • Execução normal: p95 ≈ 7 ms. Com Thread.sleep(400): ✗ → o pull request (PR) fica vermelho.
  • Margem de propósito: um portão ruidoso é ignorado.

Passo 4 · GitOps

CIimagem sha-…
→
Deploycommit da tag em k8s/overlays/gitops
→
Gito estado desejado
← consulta a cada 3 min ←
Argo CDdentro do cluster: aplica, poda, se autocorrige
  • O CI nunca toca no cluster: ele só escreve no Git.
  • Rollback = git revert; auditoria = git log; drift → revertido em segundos.

As credenciais do cluster nunca saem do cluster.

Passo 5 · O canary

setWeight 251 pod canary + 2 estáveis: cerca de um terço
pausa 2 min →
setWeight 501 canary + 1 estável
pausa 2 min →
o canary vira o estável
AnalysisRun, a cada 30 s desde o primeiro passotaxa de erro do canary < 1% e p99 < 500 ms · failureLimit: 1 · resultado vazio = aprovado
  • Sem traffic router: o Rollout chega a um peso pela contagem de réplicas (workloadRef → o Deployment).
  • Os Services catalog-stable / catalog-canary apontam para cada versão; o Prometheus marca toda série com service.

Uma release ruim, pelo Git

CHAOS_ERROR_RATE=0.3 entra no overlay por um commit. O que acontece?

  • O Argo CD sincroniza → o Rollout inicia um pod canary.
  • Análise: [] (ainda sem dados), 0,068, 0,285 → duas falhas > failureLimit: 1.
  • RolloutAborted → canary reduzido a zero; o estável continua atendendo. Corrija para a frente: git revert.

Sem cluster: repita a análise

t = 0 s[] · ainda sem série 500
→
t = 30 s0.258 ✖ (1)
→
t = 60 s0.284 ✖ (2) > failureLimit 1
→
RolloutAbortedcerca de 120 requisições com falha, 10% daquele minuto
  • O simulador do passo do canary: uma release boa → todo resultado [] → estável em 240 s.
  • 0 req/s com 0.3 → todo resultado [] → a release ruim é promovida: sem tráfego, sem evidência.
  • Thread.sleep(400) → p99 de 0,409 s passa no canary; só o portão do passo 3 a barra.
  • Playground boxoffice-canary: o mesmo bug como canary custa um quarto dos erros.

O que um canary não consegue pegar

  • Migrações rodam uma vez para as duas versões → só expand/contract.
  • Erros raros precisam de muitas requisições no canary → pausas maiores com pouco tráfego.
  • Efeitos colaterais das requisições do canary (pagamentos, e-mails) são reais.
  • Sem tráfego, sem evidência: mantenha carga durante a análise.

Passo 6 · Meça

# Experimento Registre
A etapas do pipeline duração de cada job
B lead time push → CI → commit de deploy → sincronizado → estável
C portão de desempenho p95/p99/falhas, normal vs regressão
D canary sync → abort, medições de erro, requisições que falharam

O lead time é dominado pelos testes, pelo build da imagem, pela consulta do Argo CD (≤ 3 min) e pelas pausas do canary — um preço deliberado pela segurança.

O que quebra em seguida

lab 11 · mudanças segurasorçamento: p95 ~7 ms contra 300 ms; o canary ruim abortou em ~1 min
→
uma nova dependênciaum modelo: segundos por resposta, cobrado por token, erros fluentes, ferramentas
→
lab 12 · assistentegateway, recuperação, ferramentas só de leitura, guardrails
  • Os fãs perguntam: "dois lugares abaixo de R$ 300 no sábado?"

Pontos-chave

  1. Teste contra dependências reais (Testcontainers); rode o CI em todo PR e na main.
  2. Privilégio mínimo por job; fixe toda action num SHA de commit.
  3. Escaneie antes de publicar; SBOM + proveniência assinada respondem "o quê" e "quem".
  4. Um orçamento de desempenho transforma o objetivo de nível de serviço (SLO) numa verificação do build — com margem.
  5. GitOps: o Git é a fonte da verdade; o cluster puxa.
  6. Canary + análise para releases ruins automaticamente. Próximo: o lab 13 adiciona IA a este pipeline.

Capítulo 11 da história da disciplina, com a cadeia de suprimentos do capítulo 12 e o portão de desempenho do capítulo 15. Roteiro: (1) por que automatizar a segurança; (2) CI com Testcontainers; (3) cadeia de suprimentos: Trivy, SBOM, proveniência; (4) orçamento de desempenho; (5) GitOps com Argo CD; (6) canary com Argo Rollouts; (7) meça: lead time.

A história da disciplina (visão geral de 2027.1, "A história da disciplina"): este lab fecha o capítulo 11 (desfazer sem um humano) e constrói a cadeia de suprimentos do capítulo 12 e o portão de desempenho do capítulo 15.