Google представила Gemma 4 12B — мультимодальную модель на 12 миллиардов параметров. В её архитектуре текст, изображения и звук поступают в общий трансформер без отдельных тяжёлых визуального и аудиокодировщиков.
Изображения разбиваются на участки и переводятся в представления для языковой модели с помощью лёгкого блока. Звуковой сигнал также проецируется в её внутреннее пространство. Поэтому определение «без кодировщиков» не означает полного отсутствия подготовки входных данных — используются лёгкие преобразования для приведения разных модальностей к единому представлению.
Для ускорения генерации предусмотрена дополнительная модель предсказания нескольких токенов, которая позволяет выдавать сразу несколько токенов за шаг. Gemma 4 12B позиционируется как вариант для локальных приложений с голосовым и визуальным вводом, занимающий промежуточное место между компактными и крупными моделями семейства.
В документации указаны ориентиры по аппаратным требованиям, в том числе конфигурации с 16 ГБ видеопамяти или объединённой памяти для некоторых способов запуска. Конкретные требования зависят от формата весов, длины контекста и программной среды, поэтому публикация модели не гарантирует одинаковую скорость и поведение на любых устройствах.