1. EDA

Projeto: Análise Exploratória de Dados (EDA)

Primeira entrega do projeto de classificação ou regressão. A equipe explora o dataset que vai usar até o fim do semestre, descobre o que ele tem de difícil e termina com um pipeline de pré-processamento pronto para a modelagem. Nenhum modelo é treinado nesta entrega.

0. Proposta

A equipe escolhe a tarefa e envia pelo formulário até 3 datasets, em ordem de preferência, cada um com: URL, tamanho (linhas × colunas), alvo, quantidade de features numéricas e categóricas, motivação em 2–3 frases e o primeiro risco que enxerga. O professor aprova um — EDA sobre dataset não aprovado não é corrigido.

1. Inspeção inicial

• A. Dicionário de dados — de onde vem o dataset, o que é cada linha e uma tabela com significado, tipo e unidade de cada feature.
• B. Qualidade — faltantes por coluna (contagem e %), duplicatas, valores impossíveis ou inconsistentes e colunas a descartar: identificadores, constantes e as que vazam o alvo.
• C. Alvo — classificação: frequência de cada classe e desbalanceamento; regressão: estatísticas, histograma e assimetria.
• D. Treino e teste — separação com semente fixa, estratificada (ou temporal) quando couber. Daqui em diante, toda estatística de pré-processamento é calculada só no treino.

Tipos de features · Qualidade · Vazamento · Desbalanceamento · Separação

2. Análise univariada

• A. Numéricas — tabela descritiva de todas (média, mediana, desvio, quartis) e figuras interpretando a forma de cada distribuição: assimetria, modas, outliers.
• B. Categóricas — frequências e cardinalidade de todas e gráficos de barras, apontando categorias raras e de alta cardinalidade.

Distribuições

3. Análise bivariada e multivariada

• A. Numérica × numérica — matriz de correlação (Pearson ou Spearman, justificado) e scatter plots, apontando pares redundantes.
• B. Categórica × alvo — proporção das classes por categoria (classificação) ou distribuição do alvo por categoria (regressão).
• C. Numérica × categórica — boxplots agrupados: os grupos diferem em posição, em espalhamento, ou em ambos?

Cada figura termina com uma conclusão explícita.

4. Pré-processamento

Toda escolha aponta para o achado que a motiva: "padronizamos porque as features vão de 0–1 a 0–10⁵ (Tabela 3)", e não apenas "padronizamos".

• A. Estratégias — faltantes, outliers, encoding das categóricas (inclusive categoria nova no teste) e escalonamento, lembrando que o destino é uma rede neural.
• B. Redução de dimensionalidade — três projeções 2D das features escalonadas do treino, coloridas pelo alvo:
  • PCA: variância explicada acumulada e leitura dos loadings;
  • t-SNE e UMAP: ao menos 2 valores de perplexity / n_neighbors cada; em datasets grandes, use uma amostra;
  • compare: o que as projeções não lineares revelam que a PCA não mostra? No t-SNE e no UMAP, o tamanho dos grupos e a distância entre eles não têm leitura direta.
• C. Pipeline — Pipeline + ColumnTransformer ajustado só no treino, em um arquivo importável de code/, reportando que não sobrou NaN, o shape final e os nomes das features.

Pré-processamento · Distribuições (PCA, t-SNE)

from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

preprocess = ColumnTransformer([
    ("num", Pipeline([...]), numeric_features),
    ("cat", Pipeline([...]), categorical_features),
])

X_train_t = preprocess.fit_transform(X_train)   # fit só no treino
X_test_t = preprocess.transform(X_test)         # teste apenas transformado

5. Síntese

Uma seção curta, escrita para quem vai modelar: os principais achados, cada um com a figura ou tabela que o sustenta, e os riscos para a modelagem com o plano de tratamento. Feche com a tabela abaixo preenchida — ela é o índice dos números que o relatório já calculou.

Entrega

• Relatório em docs/projects/eda/index.md, em um repositório da equipe (informado na proposta), com títulos na ordem desta página — veja Formato de Entrega;
• Prazo não é estendido · plágio zera a entrega · IA é permitida, mas todos os membros explicam cada número e cada decisão — provas orais podem ocorrer e a Avaliação de Projeto limita a nota.

---
project: eda
task: classification          # ou regression
dataset: https://...
team:
  - Nome Sobrenome
ai_use: "none"
---

Rubrica

Cada item é pontuado integral, pela metade ou zero: integral quando está completo e justificado; metade quando falta a justificativa ou o número que sustenta a análise; zero quando ausente ou incorreto. A proposta aprovada é pré-requisito — sem ela, o EDA não é corrigido.