Yan Lecun e os Modelos do Mundo: Desafio ao Scaling de LLMs
Yan Lecun e os Modelos do Mundo: Desafio ao Scaling de LLMs
Em seguimento ao artigo anterior.. eis mais uma das investigações mais interessantes em inteligência artificial deste ano que poderá obrigar-nos a repensar a forma como estamos a desenvolver estes sistemas, e que de certa forma, confirma o que foi indicado no artigo anterior. Há anos que Yann LeCun, um dos pioneiros da inteligência artificial moderna e vencedor do Prémio Turing em 2018, defende que aumentar continuamente o tamanho dos grandes modelos de linguagem não será suficiente para alcançar uma inteligência verdadeiramente semelhante à humana. Num novo artigo científico, publicado em conjunto com Randall Balestriero, apresenta resultados que reforçam esta perspectiva. Uma arquitetura com apenas 109 milhões de parâmetros conseguiu superar modelos com até 72 mil milhões numa métrica específica de alinhamento entre representações de texto e imagem. Estamos a falar de um modelo aproximadamente 660 vezes mais pequeno. Não significa que seja mais inteligente em tudo, mas demonstra que a arquitetura e a forma como uma IA aprende podem ser tão importantes como a sua dimensão.
A proposta de LeCun passa por desenvolver aquilo a que chama modelos do mundo (World Models): sistemas capazes de construir uma representação interna da realidade, compreender as relações entre os objetos e antecipar as consequências das suas ações. Ao contrário dos grandes modelos de linguagem tradicionais, que aprendem sobretudo através da previsão da palavra seguinte, estes sistemas procuram identificar padrões e relações relevantes no mundo real. É aqui que entra a arquitetura JEPA. Em vez de tentar prever todos os detalhes de uma imagem ou de um vídeo, transforma a informação numa representação mais abstrata e concentra-se naquilo que é realmente importante e previsível. O objetivo é desenvolver sistemas que aprendam a compreender o funcionamento do mundo, em vez de se limitarem a reproduzir padrões encontrados nos dados.
O artigo mais recente, intitulado Proving and Improving the Platonic Representation Hypothesis with JEPAs, apresenta uma demonstração matemática de que modelos treinados com diferentes modalidades, como texto e imagens, podem aprender representações equivalentes da realidade, desde que sejam cumpridas determinadas condições. Os investigadores chamam-lhes Good Views. Os resultados experimentais são particularmente interessantes: uma JEPA com 109 milhões de parâmetros obteve uma pontuação de 0,184 numa métrica de alinhamento com um modelo visual, superando o Qwen2.5-72B, que alcançou 0,154. Além disso, conseguiu atingir determinado nível de alinhamento utilizando 42 vezes menos exemplos de treino do que a abordagem tradicional de previsão da próxima palavra. Isto sugere que a forma como os dados são relacionados durante o treino pode ser muito mais importante do que simplesmente aumentar a quantidade de parâmetros.
Existem também outros resultados que apontam na mesma direção. O LeWorldModel, uma arquitetura desenvolvida no âmbito desta linha de investigação, utiliza aproximadamente 15 milhões de parâmetros, consegue aprender diretamente a partir de imagens e demonstrou capacidade de planeamento até 48 vezes mais rápida em determinadas tarefas experimentais. Mais recentemente, o H-JEPA introduziu uma abordagem hierárquica que permite planear em diferentes escalas temporais, aumentando o sucesso numa tarefa de navegação simulada de 18% para 73%. Paralelamente, investigadores de outras instituições, incluindo Columbia, Berkeley, Michigan e NVIDIA, apresentaram um simulador tridimensional capaz de prever movimentos, geometria e interações físicas, incluindo a deformação de tecidos, a mais de 50 imagens por segundo numa única placa gráfica RTX 5090. São avanços distintos, mas todos apontam para a importância de desenvolver sistemas capazes de representar e antecipar o comportamento do mundo físico.
Na minha opinião, a verdadeira importância desta investigação não está em demonstrar que os grandes modelos de linguagem deixaram de ter futuro (porque, como foi observado no artigo anterior, os modelos grandes muitas vezes têm é erros de treino que agora podem ser corrigidos mais facilmente), mas em mostrar que existe outro caminho para desenvolver inteligência artificial. Se conseguirmos construir modelos que compreendam melhor a realidade com menos parâmetros, menos dados e menor capacidade computacional, poderemos aproximar a inteligência artificial de dispositivos muito mais pequenos, robôs autónomos e sistemas capazes de interagir verdadeiramente com o ambiente. Yann LeCun defende há anos que a inteligência não nasce apenas da capacidade de processar linguagem, mas também da capacidade de observar, aprender e antecipar o que acontece à nossa volta. Ainda não temos uma demonstração de inteligência humana artificial nem uma solução universal para a robótica, mas estes resultados dão uma base científica mais sólida a essa visão. E, para mim, é precisamente isso que torna esta investigação importante.
