A inovação que revolucionou a IA: as melhores ideias do século

Por que os maiores avanços em Inteligência Artificial dependem do transformer

As ferramentas mais poderosas de inteligência artificial (IA) da atualidade – que conseguem resumir documentos, gerar obras de arte, escrever poesias e até prever como proteínas complexas se dobram – têm algo em comum. Todas elas se apoiam na arquitetura chamada transformer. Além disso, essa arquitetura neural revolucionou a forma como as máquinas processam informações, aproximando seu funcionamento da cognição humana.

Limitações dos modelos anteriores e a revolução do transformer

Antes da popularização do transformer, a maior parte dos modelos de IA usava redes neurais recorrentes. Entretanto, essas redes processavam textos em pequenas janelas, da esquerda para a direita, lembrando apenas as palavras imediatamente anteriores. Embora funcionasse para frases curtas, esse método apresentava limitações para textos mais longos e complexos. Por exemplo, ele exigia que muito contexto fosse comprimido em uma memória limitada, o que levava à perda de detalhes essenciais e gerava ambiguidades.

Por isso, o transformer adotou uma estratégia radical: o mecanismo de self-attention (auto-atenção). Esse mecanismo permite que o modelo compare cada palavra de uma frase com todas as outras simultaneamente. Portanto, ele identifica padrões e constrói significado a partir das relações entre as palavras, assim como fazemos naturalmente quando lemos e interpretamos textos.

Como o transformer imita a cognição humana

Humanos não leem palavra por palavra em ordem rígida: nós pulamos, voltamos, fazemos suposições e ajustamos o entendimento conforme o contexto. Da mesma forma, o transformer usa seu mecanismo de atenção para avaliar cada parte das informações com precisão. Por exemplo, a pesquisadora Sasha Luccioni, da Hugging Face, afirma que o uso abrangente de dados da internet e da Wikipedia aumenta consideravelmente o poder dessas ferramentas.

Aplicações além do processamento de linguagem natural

Além de revolucionar o processamento de linguagem natural, o transformer serve de base para gerar música, criar imagens e modelar moléculas complexas. Por exemplo, o AlphaFold, uma ferramenta que prevê a estrutura tridimensional das proteínas, trata longas sequências de aminoácidos como se fossem sentenças. A funcionalidade de uma proteína depende da maneira como ela se dobra, e este mecanismo considera as interações entre partes distantes da sequência. Assim, o auto-atenção possibilita avaliar essas conexões longas com alta precisão.

O impacto da arquitetura transformer na inteligência artificial

Em retrospectiva, a descoberta parece óbvia: a inteligência, seja humana ou artificial, depende de saber onde e quando focar a atenção. Portanto, o transformer não apenas auxiliou as máquinas a compreenderem a linguagem, como também lhes deu a capacidade de navegar por qualquer dado estruturado, semelhante ao modo como navegamos em nossos próprios mundos complexos.

Quer saber mais sobre avanços científicos?

Além disso, aproveite para conferir conteúdos relacionados como terapia celular contra o câncer e estudos recentes sobre longevidade humana. Esses temas ajudam a ampliar o entendimento sobre as contribuições da ciência para a saúde e a tecnologia.

Matéria original: https://www.newscientist.com/article/2510604-the-one-innovation-that-supercharged-ai-best-ideas-of-the-century/?utm_campaign=RSS%7CNSNS&utm_source=NSNS&utm_medium=RSS&utm_content=home