Entrega Assistida por IA

"Vamos colocar IA no pipeline"

• Não os modelos: o projeto do sistema em volta deles.
• Onde a etapa fica, o que ela lê, o que ela pode fazer, como sua saída é verificada, quanto custa, como sabemos que ela ajuda.

O espectro de autonomia

O contrato de uma etapa de IA

• A permissão da ação é o pior caso de qualquer prompt injection.

DORA: meça, não suponha

• DORA 2024: +25% de adoção de IA ≈ −1,5% de vazão, −7,2% de estabilidade (estimativa), apesar dos ganhos individuais.
• DORA 2025: a IA é um amplificador da organização que você já é.
• Ensaio randomizado do METR, 2025: desenvolvedores experientes 19% mais lentos, acreditando estar ~20% mais rápidos.

Quanto custa uma revisão por IA (ilustrativo)

Prefixo de 8 mil tokens em cache + 6 mil de diff + 1,5 mil de saída, preços de tabela na data em que este material foi escrito:

• Tokens são baratos; atenção não é: 40% de precisão × 4 comentários × 5.000 revisões/semana = semanas de engenheiros lendo ruído.

Revisão de código: engenharia de contexto

• Diff com números de linha (L21 + …): modelos não sabem contar linhas.
• Convenções + ADRs: conselhos genéricos viram as suas regras.
• Código ao redor, pontos de chamada por busca de símbolos; mapa de responsáveis.
• O texto do PR não é confiável: delimitado, canal de injeção.
• Conteúdo estável primeiro (em cache), dados da execução por último. Orce arquivos inteiros, nunca trunque no meio de um arquivo.

Revisão de código: precisão acima de recall

• Só linhas alteradas · severidade mínima · dedup por impressão digital · teto · uma revisão por push.
• Implantação: sombra → consultivo → gate por categoria comprovada. Um gate é um check obrigatório, nunca uma aprovação.

Amostra rotulada ilustrativa de 100 PRs.

Conformidade com a arquitetura

• "O order não deve tocar no schema do inventory": grants no banco, ArchUnit, lint — exatos e incontestáveis.
• A IA explica a regra, sugere a correção, pega casos vagos ("esta chamada de pagamento é idempotente?").
• Achados recorrentes da IA → candidatos a novas regras determinísticas.

Testes: entradas vs. oráculo

• Os modelos geram entradas e casos de borda muito bem.
• O oráculo (o resultado esperado) precisa do requisito: a partir de plusMinutes(8), o modelo afirma 8 e protege o bug.
• Julgue os testes gerados pelo mutation score, não pela cobertura; devolva os mutantes sobreviventes ao modelo.
• Testes baseados em propriedades (jqwik): a IA propõe invariantes — "vendidos + reservados + disponíveis = capacidade".

Testes: triagem e seleção

• Triagem de flaky: sinais determinísticos primeiro (reexecução, histórico, correlação com o diff); o modelo rotula com evidências; a quarentena é uma política, com um responsável.
• Seleção de testes: estática, baseada em cobertura ou preditiva — 95% de recall economiza horas de CI por dia se a suíte completa rodar na main ou à noite.
• Dados sintéticos: gerados uma vez, revisados, congelados; nunca dados de produção em prompts (LGPD).

Agentes no CI: o orquestrador é o produto

• Consertar o build · upgrades de dependências · migrações (codemod primeiro, agente para a cauda longa) · issue → PR.
• Headless: claude -p com --bare, --allowedTools "Read,Edit,Bash(mvn -B *)", --permission-mode dontAsk, --max-turns, --max-budget-usd; ou claude-code-action@v1; ou o seu próprio loop.
• Job do agente: token somente leitura, nenhum segredo além de uma chave com limite de gasto → patch → verificado → um job separado abre um PR em rascunho.

Agentes no CI: orçamentos, idempotência, auditoria

Liberação e operação: decidir vs. explicar

• Notas de versão: ancoradas — todo item cita um SHA/PR real; publicadas como rascunho.
• Pontuação de risco: sinais estruturais + semântica da IA; só direciona o escrutínio (revisor extra, canary lento).
• Canary: limiares e estatística decidem; o modelo repete o veredito e explica, ou é descartado.
• Incidentes: ferramentas somente leitura, links para evidências, várias hipóteses (ancoragem!); humanos ou uma política testada fazem o rollback.
• Postmortems: a IA rascunha a linha do tempo; os humanos escrevem as lições.

Segurança: a tríade letal (lethal trifecta)

Dados privados + conteúdo não confiável + comunicação com o exterior em um só agente = uma frase injetada exfiltra dados.

Nx s1ngularity (ago. 2025): pull_request_target + título do PR em run: → token roubado → malware que usou CLIs de IA locais para caçar segredos.

Cadeia de suprimentos e governança

• Slopsquatting: pacotes alucinados (≥ 5,2% nos modelos comerciais, 21,7% nos abertos, em um estudo de 2025) → revisão de dependências, proxy de registry, política.
• SBOM + assinatura + proveniência (SLSA), verificados no deploy; autoria por IA em trailers e rótulos.
• Política como código: Conftest/OPA nos workflows — permissões declaradas, nada de ${{ github.event }} em run:, actions fixadas por SHA.
• Privacidade e PI: mascarar logs, nada de dados de produção, configurações de retenção, verificação de licenças.
• Avalie as ferramentas: golden set, avaliação de regressão a cada mudança de prompt/modelo, modo sombra.

Pontos-chave

1. A IA cabe em todas as etapas da entrega; a autonomia acompanha o raio de impacto e a verificabilidade.
2. Toda etapa de IA tem um contrato: gatilho, contexto, saída validada, ação com privilégio mínimo, orçamento.
3. Precisão vale mais que recall para tudo o que fala com humanos; meça-a.
4. Testes gerados são julgados pelo mutation score; o oráculo continua humano.
5. Agentes vivem dentro de um orquestrador determinístico: sem token de escrita, com orçamentos, verificação, rascunhos, auditoria.
6. As políticas decidem, a IA explica — em canaries, risco e incidentes.
7. Quebre a tríade letal; proteja a cadeia de suprimentos; avalie as ferramentas de IA continuamente.