A ilusão do controlo: porque a IA que estamos a construir pode nunca estar sob ordens
A ilusão do controlo: porque a IA que estamos a construir pode nunca estar sob ordens
Faz algum tempo que um investigador que ajudou a fundar a área de segurança de IA publicou um livro com um título que dificilmente pode ser ignorado: Inexplicável, imprevisível, incontrolável.
A tese não é de todo catastrofista de ocasião, e... até ao momento... mantem-se! É uma conclusão sustentada por muitos anos de pesquisa sobre limites computacionais e sobre o que significa controlar um sistema mais inteligente do que o próprio operador... e se o argumento estiver correcto, não temos uma promessa de superinteligência ao comando. Temos um sistema cujo comportamento final não pode ser previsto nem garantido por ninguém, opinião que também partilho!
A razão básica é simples: para controlar algo é preciso prever o seu comportamento. Para prever o comportamento de um agente mais inteligente, teria de se possuir pelo menos essa mesma inteligência. Não é uma questão de mais dados, mais supervisão ou mais reguladores. É uma relação entre conhecimento, capacidade de previsão e poder de controlo que tende a quebrar-se à medida que o desnível cresce.
Um modelo mais capaz não responde como um humano. Ele resolve problemas que os humanos não conseguem resolver, vê padrões que os humanos não conseguem ver e claramente funciona a velocidades incomparáveis, pelo que se não conseguimos antecipar os seus passos, também não conseguimos impor limites que resistam a todas as trajectórias possíveis.
A ideia de que chegará um momento em que os humanos apenas apontam problemas a uma entidade muito mais competente não é optimista. É a formalização da irrelevância operativa. Daí que alguns investigadores defendam pausas substantivas no desenvolvimento de sistemas gerais avançados até que o problema do controlo tenha uma resposta sólida. Dario Amodei da Anthropic fez isso mesmo recentemente.. ainda assim optou por libertar o Fable 5 (e que se diga, teve pouco tempo de vida fora dos EUA - Seria isso uma forma de forçar uma pausa? Xadrez 6D?! Quem sabe...)
O problema é que a corrida comercial trata essa cautela como um entrave. Laboratórios, empresas e Estados competem para chegar primeiro, e a segurança passa a ser um argumento de marketing depois do lançamento. Os reguladores surgem, mas muitas vezes servem para consolidar o poder de quem já domina o sector em vez de impor travões reais.
A própria distinção entre uma ferramenta estreita e uma inteligência geral é elástica o suficiente para tornar todos os controles provisórios. Um sistema desenhado para produção de código, raciocínio ou planeamento pode ser expandido, ligado a outras ferramentas e reconfigurado sem que haja um ponto de verificação independente eficaz.
A comunidade técnica responde muitas vezes com a promessa de alinhamento de valores, mas valores não são especificações testáveis e sujeitam-se a interpretações políticas e culturais. O que é aceitável para um Estado pode ser inaceitável para outro e nenhum código convergirá para um ponto de consenso universal estável.
Alguns autores chegam a sugerir realidades simuladas personalizadas como modo de evitar conflito entre sistemas superinteligentes e interesses humanos. É uma solução que remove os humanos do mundo real, não um controlo da tecnologia no mundo real.
E... a experiência actual pouco ajuda. Mesmo tarefas simples exigem mais trabalho depois da chegada da IA e a dependência dessas ferramentas aumenta mais depressa do que a sua fiabilidade.
Se a aposta pela pausa parece cada vez mais difícil de concretizar, é porque o sistema já funciona como uma trajetória auto-reforçada: cada avanço alimenta a pressão para o avanço seguinte. Isso não significa que a inteligência avançada não possa ser usada com rigor e parcimónia. Significa é que o seu uso generalizado colide com limites que ainda não foram resolvidos.
O futuro mais provável não é a extinção imediata nem a utopia automatizada. É um mundo em que a capacidade de comandar sistemas muito mais capazes diminui progressivamente. A questão interessante deixa de ser se a IA nos vai substituir. Passa a ser quando é que deixamos de conseguir determinar se ela já o fez...
