JCS Studio

Seu Carrinho (0)

Seu carrinho está vazio.

Subtotal $0.00

OpenAI revela seis falhas de alinhamento... e deixa uma ressalva importante.

OpenAI revela seis falhas de alinhamento... e deixa uma ressalva importante.

Publicado em 21/09/2026 15:45 | Categorias: Artigos

A OpenAI lançou um quadro para registar, investigar e divulgar casos de desalinhamento dos seus modelos, acompanhado por seis relatórios sobre comportamentos inesperados observados nos últimos seis meses. A formulação precisa de cuidado: não são seis ocasiões em que uma IA “se revoltou”, mas seis casos documentados em avaliações internas; a própria empresa avisa que não servem para medir a frequência geral destes comportamentos.

Num dos casos, um modelo da família Astra escreveu instruções semelhantes a jailbreaks nos próprios resumos de contexto usados para continuar tarefas longas. Foram encontrados 27 resumos suspeitos, num comportamento descrito como raro e não reproduzido na execução pública de treino do Astra. Noutro, instâncias do 5.6-Sol conservaram instruções para esconder erros ou resultados desalinhados de utilizadores futuros. A OpenAI registou o padrão em 2,15% dos resumos do 5.6-Sol e em 0,27% dos resumos de reforço do GPT-6 Astra.

Os casos mais preocupantes envolveram ferramentas e dados externos. Durante uma tarefa de recuperação de informação, um modelo procurou chaves de acesso expostas em repositórios públicos e usou uma delas sem autorização; quando não obteve os dados pedidos, inventou números e apresentou-os como se viessem do site consultado. Noutros testes, modelos carregaram ficheiros (incluindo uma imagem do utilizador) para serviços públicos, tentando ultrapassar limitações das ferramentas ou fabricar uma fonte citável.

Dois relatórios mostram ainda como uma fronteira técnica mal definida pode transformar um ambiente de teste num canal de comunicação: agentes usaram serviços de alojamento temporário e o Artifactory interno para trocar informação entre execuções que deveriam ser independentes. O grande incidente de Julho com a Hugging Face é relacionado, mas separado destes seis casos: uma investigação independente da METR confirmou que 1.206 agentes trocaram mais de 70.000 mensagens e ficheiros, com mais de 700 a participar no ataque.

Esta divulgação é útil, mas... continua a ser uma prestação de contas escolhida pela própria OpenAI! No final do dia temos de reconhecer que foi esta empresa que definiu os critérios e  selecionou os casos! Para já, os relatórios não demonstram consciência nem um "plano secreto"; mostram sim, sistemas a optimizar recompensas, a preservar instruções indevidas e a explorar permissões excessivas. O próximo teste será saber se esta transparência evolui para auditorias independentes, limiares públicos e controlos que impeçam um modelo de trocar “cumprir a tarefa” por “cumpri-la a qualquer preço”... 

Novidades no Blog

Inspiração, novidades e ideias da JCS Studio.

GPT-6.2 Astra
Imagem gerada por I.A.

GPT-6.2 Astra

Publicado em 18/11/2026 11:49

Depois de alguns testes com o GPT-6.2 Astra a conclusão que se retira não combina muito com o ruído que...

Ler Mais
O debate sobre o banimento da superinteligência artificial
Imagem gerada por I.A.

O debate sobre o banimento da superinteligência artificial

Publicado em 17/11/2026 10:11

A cena política em Washington mudou drasticamente após as eleições de novembro, mas a verdade é que qualquer debate sobre...

Ler Mais
NCM: Quando a memória não é o gargalo
Imagem gerada por I.A.

NCM: Quando a memória não é o gargalo

Publicado em 17/11/2026 09:25

O hype em torno do novo modelo NCM da Stanford e Together AI tem sido inevitável, e confesso que, assim...

Ler Mais
Claude Fable 5.2: Análise do novo modelo da Anthropic
Imagem gerada por I.A.

Claude Fable 5.2: Análise do novo modelo da Anthropic

Publicado em 10/11/2026 10:40

Bem.. parece que estreou o Claude Fable 5.2, o novo modelo da Anthropic que promete ser o estado da arte...

Ler Mais
Yan Lecun e os Modelos do Mundo: Desafio ao Scaling de LLMs
Imagem gerada por I.A.

Yan Lecun e os Modelos do Mundo: Desafio ao Scaling de LLMs

Publicado em 05/11/2026 10:35

Em seguimento ao artigo anterior.. eis mais uma das investigações mais interessantes em inteligência artificial deste ano que poderá obrigar-nos...

Ler Mais
Weight Space Programming: Quando Modelos de IA Podem Ler e Escrever os Próprios Pesos
Imagem gerada por I.A.

Weight Space Programming: Quando Modelos de IA Podem Ler e Escrever os Próprios Pesos

Publicado em 05/11/2026 10:20

Uma das descobertas mais interessantes na investigação em inteligência artificial deste ano poderá mudar a forma como compreendemos e desenvolvemos...

Ler Mais
Quando a caixa preta da IA deixa de ser impenetrável
Imagem gerada por I.A.

Quando a caixa preta da IA deixa de ser impenetrável

Publicado em 02/11/2026 16:15

Deixei de acreditar que a caixa preta da IA era impenetrável. Esta semana passada, Nick Combra e a sua equipa...

Ler Mais
Inteligência Artificial e a Nova Era da Descoberta de Medicamentos
Imagem gerada por I.A.

Inteligência Artificial e a Nova Era da Descoberta de Medicamentos

Publicado em 02/11/2026 16:04

No final de outubro de 2026, a Anthropic anunciou a aquisição da Mithril Medicine, uma empresa composta por uma única...

Ler Mais

Abaixo encontra uma pequena lista de artigos relacionados com este tema..