Skip to content

Ementa

Ementa

Este curso oferece uma introdução abrangente à Redes Neurais e Deep Learning, um subcampo do aprendizado de máquina que se concentra em algoritmos chamados de redes neurais artificiais. Abordaremos os princípios fundamentais, os alicerces matemáticos, as principais arquiteturas e as técnicas de implementação prática. O curso se inspira em cursos acadêmicos de ponta e utiliza frameworks modernos de aprendizado profundo, principalmente o TensorFlow e PyTorch. Os tópicos incluem conceitos fundamentais (gradiente descendente, retropropagação), principais arquiteturas de rede (MLPs, CNNs, LSTMs, Transformers), modelos generativos (GANs) e aprendizado autossupervisionado. A ênfase será dada tanto à compreensão teórica quanto à aplicação prática em problemas do mundo real em áreas como visão computacional e processamento de linguagem natural.

Objetivos

Ao final da disciplina o aluno será capaz de:

  1. Compreender Conceitos Fundamentais: explicar os princípios matemáticos e algorítmicos fundamentais sobre redes neurais artificiais, incluindo gradiente descendente, retropropagação, funções de ativação, funções de perda e regularização.
  2. Dominar Arquiteturas-Chave: descrever a arquitetura e a racionalidade por trás dos principais modelos de aprendizado profundo, incluindo Perceptrons Multicamadas (MLPs), Redes Neurais Convolucionais (CNNs), Redes Neurais Recorrentes (LSTMs, GRUs) e Transformers.
  3. Implementar Modelos de Aprendizado Profundo: implementar, treinar e depurar modelos de aprendizado profundo usando frameworks, tais como TensorFlow e PyTorch, para tarefas como classificação de imagens, modelagem de sequências e geração.
  4. Analisar o Desempenho do Modelo: avaliar o desempenho do modelo usando métricas apropriadas, compreender armadilhas comuns (por exemplo, sobreajuste, gradientes que desaparecem/explodem) e aplicar técnicas para mitigá-las.
  5. Explorar Tópicos Avançados: familiarizar-se com conceitos avançados, como modelos generativos (GANs), modelos baseados em energia, aprendizado autossupervisionado e mecanismos de atenção.
  6. Avaliar Pesquisas Criticamente: ler e avaliar criticamente artigos de pesquisa atuais no campo do aprendizado profundo.
  7. Aplicar: formular problemas do mundo real em termos adequados para soluções de aprendizado profundo e projetar modelos apropriados.

Conteúdo Programático

  1. Introdução e Fundamentos de ML
  2. Redes Neurais e Retropropagação
  3. Treinamento de Redes Neurais e Regularização
  4. Redes Neurais Convolucionais (CNNs)
  5. Aplicações em Visão Computacional
  6. Arquiteturas Modernas de CNNs
  7. Aprendizado por Transferência
  8. Modelos Recorrentes (LSTMs e GRUs)
  9. Mecanismos de Atenção
  10. Transformers
  11. Modelos Generativos (GANs)
  12. Aprendizado Autossupervisionado
  13. Projetos Práticos e Estudos de Caso

Bibliografia Básica

Livros:

  1. Fleuret, F. (2023). The little book of deep learning, (Continuously updated online version).
  2. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.

Bibliografia Complementar

Livros:

  1. Nielsen, M. A. (2019). Neural networks and deep learning. Determination Press.
  2. Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2024). Dive into deep learning. (Continuously updated online version).