SHIFT: raciocínio latente para tornar a pesquisa por informação mais inteligente
SHIFT: raciocínio latente para tornar a pesquisa por informação mais inteligente
A pesquisa de informação está a entrar numa fase em que encontrar documentos relevantes já não depende apenas da semelhança entre palavras. Consultas complexas exigem interpretar intenção, decompor relações e distinguir pistas úteis de ruído. É nesse contexto que surge o SHIFT, uma proposta de recuperação baseada em modelos de linguagem que procura raciocinar antes de pesquisar, sem transformar cada passo interno em texto.
O ponto de partida é simples: os sistemas clássicos de recuperação densa convertem uma pergunta e cada documento em vectores, comparando-os num espaço matemático comum. Isto funciona bem para perguntas directas, mas perde eficácia quando a consulta contém ambiguidades, exige vários passos lógicos ou pressupõe conhecimento implícito.
Uma resposta habitual tem sido reescrever a pergunta antes da pesquisa. Um modelo gera uma cadeia de raciocínio ou expande a consulta em linguagem natural, e só depois procura documentos. A abordagem pode melhorar a qualidade dos resultados, mas acrescenta latência, custo computacional e dependência de geração autoregressiva.
O SHIFT explora outra via: em vez de produzir palavras intermédias, cria tokens latentes contínuos. Estes não são termos que um utilizador possa ler; são representações vectoriais construídas a partir da distribuição de probabilidades do modelo sobre todo o vocabulário. Em vez de escolher imediatamente uma única palavra provável, o sistema preserva uma combinação ponderada de muitas possibilidades.
Esta escolha permite manter informação que se perderia numa decisão discreta. Quando um modelo escolhe apenas o token mais provável, outras hipóteses semanticamente próximas deixam de participar no cálculo seguinte. Um token contínuo conserva uma representação mais rica, ainda que compacta, das alternativas relevantes para o raciocínio e para a pesquisa.
Há também uma vantagem matemática importante. As operações sobre representações contínuas são diferenciáveis, o que permite optimizar o percurso de raciocínio através de gradientes durante o treino. Escolhas rígidas de palavras introduzem descontinuidades; as médias ponderadas preservam um percurso suave no espaço de representações.
No método proposto, o modelo gera uma trajectória curta de tokens latentes a partir da consulta original. Cada estado pode atender à pergunta inicial e aos estados internos anteriores, criando uma sequência de dependências semelhante a uma cadeia de raciocínio, mas sem obrigar o sistema a escrever essa cadeia em linguagem humana.
O problema é que os estados internos de um modelo generativo são optimizados sobretudo para prever o próximo token. Já um sistema de recuperação precisa de separar documentos relevantes de documentos irrelevantes. Não são exactamente a mesma tarefa, nem exigem a mesma geometria de representações.
Para resolver essa diferença, o SHIFT aplica uma projecção residual aos estados latentes e agrega-os com atenção bidireccional. Em termos práticos, cria uma transformação aprendida que adapta o percurso interno do modelo à tarefa de pesquisa, reduzindo componentes úteis para geração de texto mas pouco relevantes para distinguir documentos.
Esta adaptação é especialmente relevante em consultas de raciocínio intensivo. Uma pergunta pode exigir inferências sucessivas antes de se perceber que informação deve ser procurada. Um único vector calculado directamente a partir da frase inicial pode ser insuficiente; uma trajectória latente curta pode captar intenções intermédias sem pagar o custo de uma longa explicação textual.
O segundo desafio é a supervisão. Uma perda contrastiva tradicional apenas indica se a representação final ficou próxima do documento correcto e afastada de exemplos negativos. Por si só, isso não garante que cada estado intermédio retenha informação útil; os tokens latentes poderiam tornar-se redundantes ou semanticamente pobres.
O SHIFT introduz, por isso, uma componente de auto-reconstrução de granularidade fina. Durante o treino, os estados latentes compactos são expandidos em representações condicionadas pela posição e usados para reconstruir trajectórias explícitas de raciocínio. O objectivo não é gerar essa explicação na utilização normal, mas obrigar os estados internos a preservar estrutura semântica suficiente.
O treino combina assim duas pressões complementares: uma organiza o espaço de recuperação, aproximando a consulta dos documentos correctos; a outra evita que o raciocínio latente se transforme numa sequência vazia de vectores semelhantes. A primeira favorece a pesquisa; a segunda protege a qualidade informacional do percurso interno.
Nos testes reportados pelos autores em tarefas de recuperação que exigem raciocínio, o método obteve resultados competitivos e, em vários cenários, superiores aos de recuperadores densos convencionais, pipelines de reescrita e alternativas de raciocínio latente com a mesma base. O resultado deve ser lido como evidência experimental inicial, não como uma garantia universal para qualquer domínio ou modelo.
A ideia mais relevante é estratégica: os sistemas RAG poderão deixar de depender exclusivamente de consultas reescritas em linguagem natural. Ao aprender uma forma curta, contínua e orientada para recuperação de representar raciocínio, modelos de linguagem podem pesquisar melhor com menor sobrecarga. A transparência continua a ser um desafio, porque estes estados não são directamente legíveis, mas a combinação entre eficiência, supervisão e recuperação contextual aponta para uma evolução séria na arquitectura dos sistemas de pesquisa assistidos por IA.
