Google Gemma 4 12B: arquitetura encoder-free e IA multimodal no portátil
Google Gemma 4 12B: arquitetura encoder-free e IA multimodal no portátil
A Google DeepMind apresentou a 3 de junho de 2026 o Gemma 4 12B, o primeiro modelo de tamanho médio da família Gemma com arquitetura unificada "encoder-free" e suporte nativo a áudio, imagens e vídeo. Posicionado entre os modelos de edge E4B (4B) e o modelo MoE 26B A4B, o Gemma 4 12B denso de 11,95 mil milhões de parâmetros foi concebido para correr localmente em portáteis com 16 GB de VRAM ou memória unificada, aproximando-se do desempenho do modelo 26B MoE com menos de metade da pegada de memória.
A inovação central reside na eliminação completa dos encoders separados de visão e áudio que caracterizam as arquiteturas multimodais tradicionais. Em vez de processar imagens e áudio através de modelos transformer dedicados antes de os projetar no espaço de embeddings do LLM, o Gemma 4 12B alimenta as modalidades brutas diretamente no backbone decoder-only partilhado, permitindo que o modelo principal comece a processar a entrada e gerar saída imediatamente, sem esperar que encoders pesados terminem o seu trabalho.
No processamento de visão, o encoder transformer de 550 milhões de parâmetros usado nos modelos 26B e 31B é substituído por um embedder leve de apenas 35 milhões de parâmetros. Este componente realiza uma única multiplicação de matriz para projetar patches brutos de 48×48 píxeis diretamente na dimensão oculta do LLM (3840), anexando informação espacial através de matrices de lookup fatorializado por coordenadas (X e Y), dispensando assim camadas de atenção no codificador visual.
No domínio do áudio, a remoção é ainda mais radical: o encoder conformer de 305 milhões de parâmetros presente nos modelos E2B e E4B é eliminado por completo. O áudio bruto a 16 kHz é fatiado em frames de 40 ms (640 amostras cada) e projetado linearmente para o espaço de entrada do LLM, tirando partido da natureza sequencial bidimensional do áudio que pode ser processada de forma análoga ao texto, sem necessidade de embeddings posicionais adicionais.
Esta arquitetura encoder-free traz consequências práticas diretas: latência reduzida, uso de memória mais baixo, pipeline de processamento simplificado e, crucialmente, fine-tuning unificado. Como visão, áudio e texto partilham exatamente os mesmos pesos, adaptações downstream via LoRA ou fine-tuning completo atualizam naturalmente todo o loop de tokens multimodais numa única passagem, sem a complexidade de co-tunar encoders congelados separados.
O modelo emprega atenção híbrida, intercalando janelas locais de sliding window attention com atenção global completa, sendo a camada final sempre global, e utiliza RoPE proporcional para eficiência em contextos longos de até 256 mil tokens. Inclui ainda drafters de Multi-Token Prediction (MTP) para decoding especulativo, melhorando a velocidade de inferência sem alterar a qualidade da saída.
Nos benchmarks instruction-tuned, o Gemma 4 12B atingiu 77,2% no MMLU Pro, 77,5% no AIME 2026 (sem ferramentas), 72,0% no LiveCodeBench v6, ELO 1659 no Codeforces, 78,8% no GPQA Diamond, 69,1% no MMMU Pro, 79,7% no MATH-Vision e 0,069 no FLEURS (quanto menor, melhor), situando-se consistentemente entre o E4B e o 26B A4B.
As capacidades desbloqueadas incluem reconhecimento automático de fala (ASR), raciocínio agente, diarização de locutores, compreensão de vídeo (frames + áudio), programação e workflows agente multimodais. A Google demonstra aplicações práticas como a criação autónoma de uma app Gradio de processamento de imagem pelo próprio modelo e análise de vídeo de 5 minutos com áudio sincronizado.
O ecossistema de inferência e serving inclui suporte nativo em Ollama, LM Studio, llama.cpp, MLX, vLLM, SGLang e LiteRT-LM. Este último fornece um servidor API local compatível com OpenAI, integrações com Continue, Aider, OpenClaw, Hermes e OpenCode, e prefix caching em memória sem estado que ignora a latência de prefill quando o histórico de contexto coincide.
No desktop, a Google lançou aplicações nativas macOS: o Google AI Edge Gallery (execução offline em Apple Silicon GPUs com sandbox Python seguro para execução e visualização de código no chat) e o Google AI Edge Eloquent (edição conversacional por voz). Ambos correm o modelo localmente sem dependência de cloud.
Para fine-tuning, o ecossistema suporta Unsloth (otimizado para eficiência) e Hugging Face Transformers. A licença Apache 2.0 permite uso comercial e redistribuição livre, e os pesos estão disponíveis no Hugging Face (google/gemma-4-12B) e Kaggle (google/gemma-4).
Em produção na Google Cloud, o modelo pode ser servido via Gemini Enterprise Agent Platform Model Garden, Cloud Run com GPUs RTX PRO 6000 e vLLM, ou GKE com serving Kubernetes nativo via vLLM. O repositório Gemma Skills no GitHub fornece uma biblioteca de skills para agentes construírem com modelos Gemma.
A família Gemma superou os 150 milhões de downloads, demonstrando adoção comunitária madura e ferramentas estabelecidas para casos de uso que vão desde braços robóticos vestíveis a segurança IA empresarial. O lançamento do Gemma 4 12B representa um marco na democratização da IA multimodal avançada para execução local em hardware de consumo.
