Wan-Streamer v0.2: resolução superior a 640×368 com a mesma latência de ~200 ms
Wan-Streamer v0.2: resolução superior a 640×368 com a mesma latência de ~200 ms
A equipa Wan da Alibaba apresentou o Wan-Streamer v0.2, uma actualização do modelo de interação áudio-visual nativamente em streaming que sobe a resolução do vídeo interativo sem agravar a latência. O sistema parte da formulação de streaming nativo da v0.1 ( em que texto, áudio e vídeo do utilizador e do agente partilham uma única linha temporal causal modelada por um único Transformer) e eleva o fluxo de saída de 192x336 para 640x368, mantendo cerca de 200 ms de latência do lado do modelo a 25 fotogramas por segundo.
A interação áudio-visual em tempo real situa-se na intersecção de vários domínios: diálogo falado full-duplex, percepção multimodal, geração de vídeo em streaming e agentes visuais interactivos. O Wan-Streamer v0.1 já tinha estabelecido uma formulação de streaming nativo para este cenário, em que a percepção, o estado e a síntese visual coabitam numa só arquitectura causal; a v0.2 preserva essa formulação e foca-se em tirar partido dela para entregar um vídeo mais nítido sem comprometer a responsividade.
Relativamente à base v0.1, a v0.2 altera três eixos. O fluxo de saída sobe para 640x368, o caminho caro de geração latent é movido para um performer de contexto-paralelo estilo Ulysses, e a composição visual suportada expande-se dos planos próximos (close-up) de videochamada para agentes em plano médio (mid-shot) ancorados no cenário, com corpo e contexto de fundo legíveis. A taxa de 25 fps e o orçamento de latência interativa baixa mantêm-se inalterados.
Na comparação directa, a resolução passa de 192x336 para 640x368 e a latência do lado do modelo permanece em torno de 200 ms, sem mudança. Com um orçamento de rede bidirecional de 350 ms, a latência total de interação remota fica perto de 550 ms, também inalterada. O que muda é a topologia de serviço: o thinker continua numa única GPU, enquanto o performer passa a usar contexto-paralelo multi-GPU.
A chave para manter a latência com mais resolução é a divisão thinker–performer. O Wan-Streamer é treinado como um único modelo end-to-end, mas para implantação em tempo real esse mesmo modelo é partido numa pipeline em que o thinker ocupa uma GPU e o performer forma um grupo multi-GPU de contexto-paralelo estilo Ulysses. O thinker gere a percepção, a actualização de estado e a descodificação final; o performer absorve o caminho dispendioso de geração latent de alta resolução.
Em detalhe, o thinker alberga os codificadores causais de áudio e vídeo, a passagem curta de Transformer para linguagem e estado, a construção da cache K/V e os descodificadores causais que convertem os latents da unidade anterior em áudio e vídeo para emissão imediata. O performer retém apenas o caminho de geração latent: cada rank recebe a fatia K/V actual, actualiza a sua cache local e executa a desnovação (denoising) de contexto-paralelo Ulysses para a próxima unidade.
A sequência de vídeo latent de alta resolução é a sequência longa que é dividida pelos ranks; os latents de áudio numa unidade de 160 ms contêm poucos tokens e não sofrem fragmentação de sequência. A parte de linguagem e estado não se torna numa sequência de performer separada — já está representada na cache K/V produzida pelo thinker, o que evita comunicação extra dentro do grupo performer. O all-to-all/gather do Ulysses fica confinado ao grupo performer.
Esta planificação coloca em pipeline a percepção do frame actual, a descodificação do frame anterior, a transferência K/V e latent entre thinker e performer, e a desnovação do vídeo latent do frame seguinte, repartidas por unidades de streaming adjacentes. O débito em tempo real mantém-se desde que o tempo do grupo performer mais a comunicação caiba numa unidade de 160 ms; o caminho sinal-a-sinal — codificar, actualizar estado, gerar latent, descodificar — continua com o alvo de ~200 ms do lado do modelo.
Do ponto de vista da experiência, o prefill é quase instantâneo: em cerca de 0,5 segundo, o comando em linguagem natural entra em efeito, thinker e performer ficam pré-carregados e a nova cena entra em sessão ao vivo para o utilizador. As demonstrações publicadas não estão aceleradas — mostram a latência real de ponta a ponta, incluindo o tempo de rede, sem retemporização nem composição pós-processada.
As demonstrações abrangem formatos paisagem e retrato, com cenas desencadeadas por prompts em linguagem natural: um alienígena de orelhas longas numa caverna escura, um tutor de peruca branca num estudo à luz de vela, uma criança de pijama de pato, uma mulher de camisola vermelha em videochamada, gatos, um terrier a escavar na praia, a Mona Lisa com o seu fundo, o Charizard numa sala de reuniões ou Qin Shi Huang num palácio à luz de vela. A variedade ilustra tanto o close-up como os novos agentes mid-shot com cenário legível.
Para além das videochamadas, a mudança para agentes ancorados no cenário abre caminho a aplicações de IA encarnada e a agentes visuais interactivos consistentes, onde o corpo e o ambiente em redor importam tanto quanto o rosto. É aí que a resolução 640x368 e a leitura de contexto de cena se tornam relevantes, permitindo interações que já não se restringem a um plano apertado.
O Wan-Streamer v0.2 é um exemplo claro de como a investigação de serviço (serving) pode valer tanto como a de modelo: em vez de escalar tudo cegamente, a equipa reparte o modelo treinado num thinker de baixa latência e num performer de contexto-paralelo, sustentando uma resolução muito superior ao mesmo custo de latência. É uma lição de arquitectura de inferência para sistemas de vídeo em tempo real.
Se quiser saber mais, por favor visite : https://wan-streamer.com/v0.2/
