Pensamentos roubados: a falha que expôs o raciocínio oculto dos modelos de IA
Pensamentos roubados: a falha que expôs o raciocínio oculto dos modelos de IA
Os modelos de raciocínio não respondem logo. Antes de devolverem uma resposta, percorrem passos intermédios: testam hipóteses, corrigem um cálculo, chamam ferramentas, abandonam uma pista e tentam outra... e dependendo do método, podem varrer grafos enormes antes de "dizerem" algo útil. Esse percurso que ficou conhecido como cadeia de pensamento, e o utilizador vê, quando muito, um resumo. A versão integral costuma ficar escondida...
Há boas razões para isso. O raciocínio bruto pode incluir dados fornecidos numa sessão, resultados de ferramentas e pormenores que não pertencem à resposta final. Também revela métodos de trabalho que os laboratórios tratam como propriedade industrial. Mostrar tudo seria útil para curiosos e investigadores, mas abriria uma porta demasiado grande para cópia de modelos, exposição de informação privada e uso indevido.
Um artigo científico publicado em Agosto, com o título Stealing Reasoning Traces from Proprietary LLM APIs, mostrou que essa porta existiu em várias APIs. Os investigadores analisaram blocos de raciocínio cifrados que alguns fornecedores enviavam para o cliente conservar a continuidade de uma conversa. O conteúdo não era legível, mas podia acompanhar pedidos posteriores.
O problema não era a cifra ter sido simplesmente quebrada, pois segundo o estudo, esses blocos aceitavam reutilização entre contextos que deviam estar separados, incluindo sessões, utilizadores e modelos da mesma família. Um modelo menos protegido podia acabar por devolver, em texto simples, o percurso de raciocínio produzido por um modelo mais capaz. A equipa diz ter demonstrado o método em serviços da Anthropic, Google e OpenAI.
A expressão "pensamentos roubados" dá um bom título, mas convém não exagerar a metáfora. Não estamos perante consciência, intenção ou uma mente secreta no sentido humano. Trata-se de texto intermédio gerado por um sistema estatístico durante a resolução de uma tarefa. Mesmo assim, é material sensível: pode revelar a estratégia usada pelo modelo, pistas sobre dados de contexto e conteúdo que nunca deveria sair de uma sessão.
Por outro lado, o risco de privacidade é o lado mais imediato! A investigação decifrou 315.320 blocos recolhidos de registos de agentes publicados em repositórios abertos e reportou 367 elementos de informação pessoal e 182 credenciais. Entre os casos descritos estavam chaves de API, palavras-passe e endereços de correio electrónico. Parte desse material não aparecia na conversa visível, o que torna o problema especialmente desagradável para quem partilha logs pensando que removeu os dados importantes.
Existe ainda uma consequência para a segurança dos próprios agentes. Um bloco opaco que transporta instruções pode tornar-se um canal difícil de inspeccionar dentro de fluxos automáticos. O artigo descreve o risco de injeções de instruções escondidas nesse material. Não.. não é uma curiosidade académica! Agentes que lêem ficheiros, usam serviços externos ou atuam em nome de uma pessoa precisam de saber de onde vem cada pedaço de contexto.
A OpenAI defende que estas sequências podem revelar sinais de comportamentos inseguros antes de chegarem ao resultado final. A empresa decidiu, por isso, não mostrar o raciocínio bruto aos utilizadores, optando por resumos. Estudos da própria OpenAI indicam que os modelos atuais ainda têm dificuldade em esconder deliberadamente o que escrevem nesses passos, uma limitação que pode ajudar quem os monitoriza. Esta utilidade cria uma então contradição desconfortável.. é que quanto mais fiel for o registo interno, melhor pode servir para auditoria. Quanto mais acessível estiver, maior é a exposição de dados, técnicas e instruções perigosas! Não basta cifrar o conteúdo e esperar que o problema desapareça. É preciso ligar cada bloco ao modelo, à conta e à conversa que o produziram e recusar reutilizações fora desse contexto.
Há uma correção importante ao alarme inicial: os autores afirmam que comunicaram a falha aos fornecedores antes da divulgação e que, após as alterações feitas por estes, já não conseguiram repetir os ataques descritos. Isso não apaga o que foi encontrado. Mostra, sim, que a corrida para lançar agentes com memória, ferramentas e conversas longas criou uma superfície de ataque que poucos estavam a observar. O raciocínio oculto deixou de ser apenas uma questão de transparência. Passou a ser uma questão de arquitectura e segurança.
