Quando a caixa preta da IA deixa de ser impenetrável
Quando a caixa preta da IA deixa de ser impenetrável
Deixei de acreditar que a caixa preta da IA era impenetrável. Esta semana passada, Nick Combra e a sua equipa deram ao campo um súbito sopro de esperança ao mostrarem que o funcionamento interno da IA não só é visível como é também compreensível (até 90%). Sequestradas décadas a aprender a tornar a IA mais inteligente e temos agora a capacidade de empurrá-la muito mais longe, mas compreendê-la bem o suficiente para confiar nela tem sido o meio que faltava. Se Nick ttiver razão, talvez possamos avançar em plena velocidade em vez de andar na fronteira.
Ao longo das décadas entre 1980 e 2020, pesquisadores perceberam que não só cada unidade na rede é insignificante sozinha, mas também que, se se aproximar de um neurónio e este disparar para o conceito de raposa, este também pode disparar para o conceito de carro... ou de um comboio. Sabe-se que cada neurónio pode (e muitas vezes está a) participar em múltiplos padrões, que não são muito relacionados entre si. Chamam a isto superposição ou polimanticidade. A Anthropic tentou mostrar porque a superposição talvez não fosse um defeito, mas acabou por provar um ponto ainda mais forte. Quando se têm mais conceitos que dimensões, o modelo matematicamente não tem a opção de os armazenar como conceitos ortogonais. Tem de identificar os mais estatisticamente importantes e descartar o restante ou armazená-los em direções não ortogonais sobrepostas, o que significa que os conceitos sangram a sua informação intrínseca no espaço um do outro.
Nick Combra reexaminou alguns dos exemplos mais famosos de superposição com a ajuda de modelos agenticos de IA. Vamos observar o caso do neurónio que disparava para uma raposa, um carro ou um comboio. Ao examiná-lo mais profundamente, percebeu-se que as imagens que desencadeiam as maiores ativações contêm uma forma pontiaguda, uma geometria em V que existe na raposa, o capô de um carro e o nariz de um comboio. Confirmou-se também a existência o chamado polo negativo.. pois os neurónios não ativam sempre de forma positiva, também repelem conceitos por ativação negativa. O polo negativo para a forma V é, neste caso, a forma O. Testaram um cão com focinho pontiagudo e um cão com forma O. A ativação foi clara... o neurónio ficava "entusiasmado" com o focinho pontiagudo e "rejeitava" ativamente as formas O. Embora sejam ambos cães, quase sempre conseguem encontrar um fio condutor entre os padrões aparentemente não relacionados.
Descobre-se que o processo de trino da IA é muito mais inteligente do que inicialmente se deu crédito. As redes não abandonam os seus princípios organizadores fundamentais quando estão comprimidas no espaço. Um modelo pequeno e restrito não entra colapso e mete um barco e um cão na mesma caixa... em vez disso, perde resolução e cria categorias mais amplas. Na última camada de um modelo pequeno (e intencionalmente comprimido), não se encontra uma um emaranhado, mas um único neurónio altamente lógico que agrupa todos os veículos de estrada no seu lado positivo e barcos e aviões no lado negativo (por exemplo, claro está). Não se torna uma junção de tópicos não relacionados.. apenas faz um "zoom out" por assim dizer e perde resolução.
Imagine que a rede já usou todo o seu espaço e mais informações continuam a entrar. Como é que se mantém tudo organizado quando nunca se planeou isso com antecedência? Nick seguiu um único neurónio para ver como ele evolui ao longo do treino... e ao que parece a rede usa um mecanismo que ele chama de generalização recursiva. O neurónio começa por agrupar coisas simples e semelhantes juntos... depois ramifica-se conceptualmente! Por exemplo, um neurónio que começa por disparar quando vê as letras IY ao lado umas das outras, como o nome Miyazaki. Neste ponto, é apenas parte de um pequeno verificador de ortografia à procura de uma combinação específica de letras. Mas, à medida que a rede lê mais texto e aprende, esse neurónio generaliza e começa a disparar para as letras DIY. Ainda contém IY, mas DIY é muito mais significativo como acrónimo de "do-it-yourself". Depois dá mais um salto conceptual recurivo: o neurónio realmente começa a disparar fortemente para a frase completa em inglês "do it yourself" que nem sequer contém IY ou DIY como combinação de letras. O neurónio generalizou desde um fragmento ortográfico literal para um acrónimo que o contém para o significado subjacente do acrónio próprio.
Se os neurónios têm trabalhos bem definidos, então a visão localista não estava tão longe da representação distribuída. De facto, acabaram por ser basicamente a mesma teoria. O que parecia uma desorganização generalizada é, na verdade, como uma algo organicamente complexo e não aleatória, é algo cheio de ordem.
Se isto se provar correto pelos pares, agora há esperança de desenvolvermos ferramentas muito confiáveis para monitorizar modelos de IA. Quando entendermos como isto tudo funciona, podemos guiar esta evolução! Esse sim.. é o problema.. temo de perceber como isto tudo funciona (.. e não tenha ilusões.. até ao momento não sabemos ainda muito bem!)
