Self-Adapting for Language Models

Publicado em 17/06/2025 09:09 | Categorias: Artigos

"Self-Adapting Language Models" (SEAL) é daquelas coisas que nos fazem pensar no futuro da inteligência artificial.

Basicamente, a ideia é que os LLMs (Large Language Models) deixem de ser apenas consumidores passivos de dados e passem a ser aprendizes ativos, capazes de gerar os seus próprios materiais de estudo e de se auto-aperfeiçoar.

A analogia do estudante que prepara um exame é perfeita: reler o manual não é tão eficaz como reescrever os apontamentos, criar resumos ou desenhar diagramas. Os LLMs atuais são como o estudante que só relê, mas com o SEAL, a coisa muda de figura.

O framework SEAL funciona com um sistema de "nested-loop": Um loop interno onde o modelo gera "self-edits" (diretivas sobre como se adaptar) e atualiza os seus próprios pesos através de "supervised finetuning" (SFT). Um loop externo onde o modelo é recompensado com base no seu desempenho após a atualização, treinando-o para aprender a aprender de forma mais eficiente. Isto significa que o modelo não está apenas a aprender factos, mas também a aprender a melhor forma de internalizar esses factos. É como se estivéssemos a ensinar um cão não só a sentar, mas também a descobrir a melhor forma de aprender truques novos.

Medalha de identificação animal Tri-Color

Publicidade Desde €3,50

Os resultados experimentais são impressionantes. Num teste de "few-shot learning", o SEAL conseguiu uma taxa de sucesso de 72.5%, enquanto os métodos tradicionais falharam completamente. Noutro teste, o SEAL superou até mesmo um modelo muito maior (GPT-4.1) na integração de informação. Claro que há limitações. O "catastrophic forgetting" (o modelo esquecer o que já aprendeu) é um problema, e o loop de treino RL é computacionalmente caro. Mas, no geral, o SEAL representa um avanço significativo. No fundo, o SEAL é uma lufada de ar fresco num campo que muitas vezes parece estagnado.

Em vez de ficarmos obcecados com a quantidade de dados que damos aos modelos, podemos começar a pensar em como ensiná-los a aprender de forma mais inteligente. E isso, é um futuro que vale a pena explorar!

Mais detalhes aqui : https://arxiviq.substack.com/p/self-adapting-language-models