3. Neural Networks
Redes Neurais Artificiais (ANNs), ou simplesmente redes neurais, são modelos computacionais inspirados na estrutura e função das redes neurais biológicas. Consistem em nós interconectados (neurônios) que processam informações de maneira similar à forma como os neurônios no cérebro humano operam. ANNs são capazes de aprender a partir de dados, tornando-as ferramentas poderosas para várias tarefas, como reconhecimento de imagem, processamento de linguagem natural e tomada de decisão.
Redes neurais são a espinha dorsal de muitas aplicações modernas de IA, permitindo que máquinas aprendam com a experiência e melhorem seu desempenho ao longo do tempo. São particularmente eficazes em lidar com padrões complexos e grandes conjuntos de dados, tornando-as adequadas para uma ampla variedade de aplicações, desde visão computacional até reconhecimento de fala.
Marcos Históricos
Trinta e três marcos num único eixo do tempo, em quatro trilhas. Clique num ponto ou avance pelos botões: o quadro abaixo do diagrama abre o marco com o que mudou, a publicação, um PDF gratuito quando existe e o capítulo do curso que trata do assunto.
1943–1968 Fundamentos
1943 Fundamentos das Redes Neurais
Lançou as bases teóricas das ANNs e inspirou futuros modelos computacionais do cérebro.
Warren McCulloch e Walter Pitts publicam um artigo que introduz o primeiro modelo matemático de uma rede neural, descrevendo neurônios como unidades lógicas de decisão.
McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity.
1950 Proposta do Teste de Turing
Estabeleceu uma referência para avaliar as capacidades da IA, influenciando o desenvolvimento filosófico e prático da área.
Alan Turing publica "Computing Machinery and Intelligence", propondo o Teste de Turing para avaliar a capacidade de uma máquina de exibir comportamento inteligente indistinguível do de um humano.
Turing, A. M. (1950). Computing Machinery and Intelligence.
1952 Modelo de Hodgkin–Huxley
Fundamental para compreender a dinâmica neural, influenciou o desenvolvimento das redes neurais artificiais.
Alan Hodgkin e Andrew Huxley desenvolvem um modelo matemático do potencial de ação em neurônios, descrevendo como os neurônios transmitem sinais por meio de impulsos elétricos.
Hodgkin, A. L., & Huxley, A. F. (1952). A quantitative description of membrane current and its application to conduction and excitation in nerve.
1956 Nascimento da IA como Disciplina
Marcou a fundação formal da IA como campo de estudo, estimulando a pesquisa em inteligência de máquina.
A Conferência de Dartmouth, organizada por John McCarthy, Marvin Minsky, Nathaniel Rochester e Claude Shannon, cunha o termo inteligência artificial.
McCarthy, J., Minsky, M., Rochester, N., & Shannon, C. (1955). Dartmouth Conference Proposal.
1958 Introdução do Perceptron
Inaugurou o conceito de uma rede neural simples, base para desenvolvimentos futuros em aprendizado de máquina e redes neurais.
Frank Rosenblatt desenvolve o Perceptron, uma das primeiras redes neurais artificiais capaz de aprender a classificar padrões. Ele consiste em uma única camada de nós de saída conectados às features de entrada e usa uma função degrau para produzir saídas binárias.
Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain.
1964 Córtex Visual e Privação Monocular
Destacou a importância da experiência na plasticidade neural e a organização hierárquica do córtex visual.
David H. Hubel e Torsten N. Wiesel conduzem pesquisas pioneiras sobre o córtex visual de gatos. O trabalho sobre privação monocular mostra que privar um olho de estímulo visual durante um período crítico leva a mudanças permanentes no córtex visual.
Hubel, D. H., & Wiesel, T. N. (1964). Effects of monocular deprivation in kittens.
1969–1985 Inverno das redes neurais
1969 Limitações dos Perceptrons → Inverno da IA
Evidenciou as limitações das primeiras redes neurais, levando a um declínio temporário do interesse em redes neurais e em IA.
Marvin Minsky e Seymour Papert publicam "Perceptrons", criticando as limitações dos perceptrons de camada única, em particular a incapacidade de resolver problemas não linearmente separáveis como o XOR. O livro contribuiu para um declínio da pesquisa em redes neurais que durou mais de uma década (o primeiro "inverno da IA" da área), enquanto financiamento e interesse migravam para a IA simbólica.
Minsky, M., & Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry.
1980 Neocognitron
Precursor das CNNs modernas, demonstrou o potencial da extração hierárquica de features no reconhecimento de imagens.
Kunihiko Fukushima desenvolve o Neocognitron, um dos primeiros modelos de rede neural convolucional, que imita a estrutura hierárquica do córtex visual.
Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position.
1982 Redes de Hopfield
Lançou as bases para desenvolvimentos posteriores em arquiteturas de redes neurais e modelos baseados em energia.
John Hopfield introduz as redes de Hopfield, um tipo de rede neural recorrente que funciona como memória associativa, capaz de armazenar e recuperar padrões.
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities.
1982 Mapas Auto-Organizáveis (SOM)
Ofereceu uma forma não supervisionada de agrupar e visualizar dados complexos de alta dimensão.
Teuvo Kohonen desenvolve os Mapas Auto-Organizáveis, um algoritmo de aprendizado não supervisionado que mapeia dados de alta dimensão para uma grade de menor dimensão.
Kohonen, T. (1982). Self-organized formation of topologically correct feature maps.
1986–2005 Retomada
1986 Retropropagação Redescoberta
Reavivou o interesse nas ANNs ao superar limitações dos perceptrons de camada única, abrindo caminho para o aprendizado profundo.
David E. Rumelhart, Geoffrey E. Hinton e Ronald J. Williams publicam um artigo sobre retropropagação (backpropagation), que permite treinar redes neurais de múltiplas camadas.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors.
1989 Teorema da Aproximação Universal
Estabeleceu a base teórica para a capacidade das redes neurais de aproximar qualquer função contínua, contribuindo para o desenvolvimento do aprendizado profundo.
George Cybenko prova que uma rede neural feedforward com uma única camada oculta pode aproximar qualquer função contínua em subconjuntos compactos de \(\mathbb{R}^n\), sob condições brandas sobre a função de ativação.
Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function.
1997 Deep Blue Vence o Campeão de Xadrez
Mostrou o potencial da IA em jogos estratégicos, impulsionando avanços em IA para jogos.
O Deep Blue da IBM vence o campeão mundial de xadrez Garry Kasparov em um match de seis partidas, um marco na capacidade da IA de competir com a inteligência humana em tarefas complexas.
Campbell, M., Hoane, A. J., & Hsu, F. (2002). Deep Blue.
1997 Long Short-Term Memory (LSTM)
Atacou o problema do gradiente desvanecente em RNNs, permitindo modelar dependências de longo prazo em dados sequenciais.
Sepp Hochreiter e Jürgen Schmidhuber introduzem as redes LSTM, um tipo de rede neural recorrente projetada para aprender dependências de longo prazo em dados sequenciais.
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory.
1998 Redes Neurais Convolucionais (CNNs)
Revolucionou a visão computacional e o processamento de imagens, permitindo avanços no reconhecimento e na classificação de objetos.
Yann LeCun, Léon Bottou, Yoshua Bengio e Patrick Haffner publicam um artigo sobre CNNs treinadas por gradiente descendente, apresentando a arquitetura LeNet-5 para reconhecimento de dígitos manuscritos.
LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition.
2006–hoje Aprendizado profundo
2006 Renascimento do Aprendizado Profundo
Deu início à era moderna do aprendizado profundo ao mostrar que redes profundas podiam ser treinadas com eficiência.
Geoffrey Hinton e colegas introduzem as deep belief networks, demonstrando um pré-treinamento eficaz para redes neurais profundas.
Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets.
2012 AlexNet e o Salto no ImageNet
Demonstrou a superioridade do aprendizado profundo em visão computacional, levando à sua adoção ampla.
A AlexNet, de Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton, vence a competição ImageNet com uma acurácia sem precedentes na classificação de imagens usando CNNs profundas.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks.
2013 word2vec e os Embeddings de Palavras
Mostrou que uma rede rasa treinada para prever palavras vizinhas aprende vetores cuja geometria codifica significado.
Tomas Mikolov e colegas do Google treinam dois modelos simples (CBOW e skip-gram) em bilhões de palavras. Os embeddings resultantes resolvem analogias como rei − homem + mulher ≈ rainha e viram a camada de entrada padrão dos modelos de PLN.
Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space.
2013 Autoencoders Variacionais (VAEs)
Transformou o autoencoder num modelo generativo probabilístico treinável por gradiente descendente.
Diederik Kingma e Max Welling introduzem o VAE e o truque da reparametrização, que deixa o gradiente atravessar uma amostra aleatória: um encoder leva cada entrada a uma distribuição sobre um espaço latente, de onde um decoder gera dados a partir de pontos amostrados.
Kingma, D. P., & Welling, M. (2013). Auto-encoding variational Bayes.
2014 Redes Adversariais Generativas (GANs)
Introduziu uma nova abordagem para a modelagem generativa, permitindo criar dados sintéticos realistas.
Ian Goodfellow e colegas introduzem as GANs, um arcabouço para treinar modelos generativos por meio de treinamento adversarial.
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets.
2014 Atenção na Tradução Automática Neural
Permitiu que a rede consultasse cada posição da entrada em vez de comprimir a frase inteira num único vetor: a ideia sobre a qual o Transformer é construído.
Dzmitry Bahdanau, Kyunghyun Cho e Yoshua Bengio acrescentam um mecanismo de atenção a um encoder–decoder recorrente: a cada palavra de saída, o decoder calcula pesos sobre todos os estados do encoder e lê a média ponderada deles.
Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate.
2015 Redes Residuais (ResNets)
Permitiu treinar redes neurais muito profundas, melhorando significativamente o desempenho no reconhecimento de imagens.
Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun introduzem as Redes Residuais, que usam conexões de salto (skip connections) para que os gradientes fluam com facilidade por redes profundas.
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition.
2016 AlphaGo da DeepMind
Mostrou a capacidade do aprendizado profundo de enfrentar jogos estratégicos complexos, avançando a pesquisa em IA.
O AlphaGo da DeepMind, usando aprendizado por reforço profundo e redes neurais, vence o jogador profissional de Go Lee Sedol.
Silver, D., et al. (2016). Mastering the game of Go with deep neural networks and tree search.
2017 Transformers e Mecanismos de Atenção
Revolucionou o processamento de linguagem natural e a modelagem de sequências, permitindo avanços em tradução automática e geração de texto.
Ashish Vaswani e colegas introduzem a arquitetura Transformer, que usa mecanismos de autoatenção para processar sequências em paralelo, melhorando significativamente o desempenho em tarefas de PLN.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need.
2018 BERT e Modelos de Linguagem Pré-treinados
Estabeleceu novos padrões em PLN ao introduzir técnicas de pré-treinamento e ajuste fino, permitindo que os modelos compreendam melhor contexto e semântica.
Jacob Devlin e colegas introduzem o BERT (Bidirectional Encoder Representations from Transformers), um modelo de linguagem pré-treinado que atinge o estado da arte em vários benchmarks de PLN.
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional transformers for language understanding.
2020 GPT-3 e Grandes Modelos de Linguagem
Mostrou as capacidades dos modelos de linguagem em larga escala, permitindo avanços na compreensão e na geração de linguagem natural.
A OpenAI lança o GPT-3, um modelo de linguagem com 175 bilhões de parâmetros, com desempenho impressionante em várias tarefas de PLN, incluindo geração de texto, tradução e resposta a perguntas.
Brown, T. B., Mann, B., Ryder, N., Subbiah, S., Kaplan, J., Dhariwal, P., Neelakantan, S., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, D., Litwin, M., Gray, S., Chess, B., Clark, J., Berridge, S., Zaremba, W., & Amodei, D. (2020). Language models are few-shot learners.
2020 Modelos de Difusão com Remoção de Ruído
Tornou a difusão um modelo generativo prático, que logo virou a base dos principais geradores de imagens.
Jonathan Ho, Ajay Jain e Pieter Abbeel treinam uma rede para remover um pouco de ruído gaussiano por vez: gerar uma imagem é partir de ruído puro e retirá-lo passo a passo.
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models.
2020 Vision Transformer (ViT)
Mostrou que um Transformer puro, sem convoluções, se iguala às melhores CNNs quando treinado com dados suficientes.
Alexey Dosovitskiy e colegas cortam a imagem em patches de 16×16, tratam cada patch como um token e passam a sequência por um encoder Transformer padrão.
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An image is worth 16x16 words: Transformers for image recognition at scale.
2021 DALL-E e Geração de Imagens
Permitiu gerar imagens de alta qualidade a partir de descrições textuais, mostrando o potencial da IA multimodal.
A OpenAI apresenta o DALL-E, um modelo capaz de gerar imagens a partir de descrições textuais, demonstrando o poder de combinar linguagem e visão.
Ramesh, A., Pavlov, M., Goh, G., Gray, S., Voss, C., Radford, A., Chen, M., & Sutskever, I. (2021). Zero-Shot Text-to-Image Generation.
2021 CLIP: Imagens e Texto no Mesmo Espaço
Aprendeu um espaço de embeddings comum a imagens e textos a partir de 400 milhões de imagens com legenda, o que permite a classificação zero-shot e guia os modelos de texto para imagem.
Alec Radford e colegas da OpenAI treinam juntos um encoder de imagens e um de texto com uma perda contrastiva: pares imagem–legenda correspondentes são aproximados e os demais são afastados.
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Learning transferable visual models from natural language supervision.
2022 Difusão Latente e Stable Diffusion
Levou a difusão para o espaço latente comprimido de um autoencoder, tornando a geração de imagens de alta resolução a partir de texto barata o bastante para rodar numa única GPU.
Robin Rombach e colegas aplicam o processo de difusão aos códigos latentes de um autoencoder pré-treinado e o condicionam ao texto por atenção cruzada. O Stable Diffusion, lançado abertamente em agosto de 2022, é construído sobre esse modelo.
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models.
2022 InstructGPT, RLHF e ChatGPT
Transformou um modelo de linguagem num assistente que segue instruções, levando os LLMs ao grande público.
Long Ouyang e colegas ajustam o GPT-3 com demonstrações humanas e depois com aprendizado por reforço a partir de feedback humano (RLHF), usando um modelo de recompensa treinado com rankings de respostas feitos por pessoas. O ChatGPT, lançado em novembro de 2022, segue a mesma receita.
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback.
2024 Prêmios Nobel para Redes Neurais
Reconheceu as redes neurais artificiais como contribuição para a ciência além da computação.
O Nobel de Física vai para John Hopfield e Geoffrey Hinton “por descobertas e invenções fundamentais que permitem o aprendizado de máquina com redes neurais artificiais”. Metade do Nobel de Química vai para Demis Hassabis e John Jumper pelo AlphaFold, uma rede profunda que prevê a estrutura 3D de uma proteína a partir da sequência de aminoácidos (a outra metade vai para David Baker, pelo design computacional de proteínas).
Jumper, J., et al. (2021). Highly accurate protein structure prediction with AlphaFold.