A inteligência artificial generativa tem avançado muito, mas continua limitada por um problema técnico simples de explicar e difícil de resolver: quanto maior é o texto que um modelo precisa de analisar, mais cara e lenta se torna a operação. O SubQ surge precisamente neste ponto, com a promessa de tornar prático aquilo que até agora era demasiado pesado: trabalhar com milhões de tokens de contexto de uma só vez.

Publicidade Desde €2,90

O destaque vai para o SubQ 1.1 Small, um modelo de contexto longo baseado numa arquitectura chamada Subquadratic Sparse Attention, ou SSA. A ideia é reduzir o desperdício computacional da atenção tradicional dos Transformers, que compara cada token com todos os outros. Esse método funciona bem, mas cresce de forma quadrática: duplicar o contexto pode multiplicar muito mais do que duas vezes o trabalho necessário.

A abordagem do SubQ tenta resolver esse problema escolhendo apenas as relações mais relevantes entre tokens. Em vez de calcular todas as ligações possíveis dentro de um texto enorme, o modelo aprende a focar-se nas ligações que interessam. Na prática, isto pretende manter a capacidade de encontrar informação distante sem pagar o custo total da atenção densa.

O número mais chamativo é a janela de contexto anunciada até 12 milhões de tokens. Para empresas, isto muda a natureza de alguns problemas: deixa de ser necessário partir tudo em pequenos blocos, resumir partes, construir sistemas de recuperação frágeis e esperar que nada essencial fique de fora. Um modelo com contexto deste tamanho pode, em teoria, olhar para bases de código inteiras, arquivos jurídicos, relatórios financeiros, contratos extensos ou colecções documentais completas.

Nos dados divulgados para o SubQ 1.1 Small, a eficiência é a parte mais agressiva da promessa. A 1 milhão de tokens, o modelo é apresentado como exigindo 64,5 vezes menos computação do que atenção densa e como sendo 56 vezes mais rápido do que FlashAttention-2. Em janelas ainda maiores, a redução de relações analisadas pode aproximar-se de três ordens de grandeza, embora estes números devam ser lidos como resultados de benchmark e não como garantia universal em qualquer carga real.

O desempenho em recuperação de informação também é forte nos testes publicados. O modelo terá alcançado 100% de exatidão em tarefas de agulha no palheiro a 1 milhão e 2 milhões de tokens, mantendo 98% a 6 milhões e 12 milhões. Isto é relevante porque o modelo foi treinado sobretudo em contextos de 1 milhão de tokens, com treino adicional a 2 milhões, mas ainda assim generalizou para contextos muito maiores.

Publicidade Desde €2,90

Há também resultados positivos em testes de contexto longo mais exigentes. No benchmark RULER, que inclui tarefas como rastrear variáveis, extrair frequências e agregar informação dispersa, o SubQ 1.1 Small é apresentado com 99,12% a 128 mil tokens. Este tipo de teste é mais interessante do que uma simples procura de uma frase escondida, porque se aproxima melhor de trabalho real com documentos grandes.

O modelo não é, contudo, apresentado como vencedor absoluto em todas as áreas. Em raciocínio científico avançado, programação competitiva e tarefas agentivas de negócio, os resultados colocam-no próximo de modelos fortes em alguns cenários, mas não sempre acima dos melhores modelos de fronteira. A leitura correcta é mais moderada: o SubQ tenta provar que é possível ter contexto extremo sem destruir a qualidade geral do modelo.

Outro detalhe importante é que o SubQ 1.1 Small não terá sido treinado totalmente do zero. A arquitectura de atenção foi introduzida sobre um modelo de base existente, seguindo-se treino adicional com material naturalmente longo, como livros, documentos completos e repositórios de código. Isto torna a evolução mais prática: em vez de recomeçar tudo, a empresa tentou substituir a parte mais cara do mecanismo de atenção e adaptar o modelo ao novo regime.

Os casos de uso mais óbvios estão no trabalho empresarial. Em engenharia de software, um agente poderia analisar dependências espalhadas por milhares de ficheiros. Em direito, poderia comparar cláusulas, excepções e definições dispersas por contratos extensos. Em finanças, poderia cruzar relatórios, demonstrações, anexos e documentos internos sem depender tanto de sistemas de recuperação parcial.

Ainda assim, há limites claros. Benchmarks de recuperação não provam, por si só, raciocínio profundo em todos os contextos. Encontrar uma informação escondida não é o mesmo que interpretar correctamente dezenas de dependências contraditórias num processo jurídico, numa auditoria financeira ou numa base de código grande. Além disso, o acesso ao modelo ainda é limitado, os pesos não estão publicamente disponíveis e a reprodução independente completa dos ganhos de eficiência continua por confirmar.

A atenção esparsa também tem uma fragilidade conceptual: se o modelo escolhe mal aquilo a que deve prestar atenção, pode ignorar relações importantes. A vantagem de custo vem precisamente de não olhar para tudo. O desafio é garantir que esta seleção continua fiável quando o input deixa de ser limpo, artificial ou preparado para benchmark e passa a ser o caos normal de documentos reais.

Mesmo com essas reservas, o SubQ é uma evolução relevante porque ataca um dos bloqueios centrais dos LLMs modernos: o custo do contexto. Se os resultados se confirmarem em uso real, o futuro dos agentes de IA pode depender menos de truques de recuperação e mais de modelos capazes de trabalhar directamente sobre artefactos completos. Se não se confirmarem, ficará como mais uma tentativa promissora de escapar à factura quadrática dos Transformers. Em ambos os casos, a direção é clara: a próxima batalha da IA não é apenas ser mais inteligente, é conseguir lembrar-se de muito mais sem falhar no processo (ou falir o admin).