Google анонсировала DiffusionGemma — экспериментальную модель текстовой диффузии на базе семейства Gemma 4. В отличие от обычного авторегрессионного генератора, она итеративно уточняет блоки текста с двунаправленным вниманием, а не выбирает токены строго последовательно.
В описанной конфигурации это MoE‑модель с 26 миллиардами параметров, при исполнении активируется около 3,8 миллиарда параметров. Модель поддерживает генерацию блоками до 256 токенов и показывает ускорение декодирования до четырёхкратного на специально подобранных GPU‑настройках.
Преимущество проявляется преимущественно при локальном запуске с небольшим числом конкурентных запросов. При высокой нагрузке и большом QPS авторегрессионные модели могут эффективнее использовать пакетирование, поэтому выигрыш диффузионного декодирования сокращается.
Google отмечает, что у DiffusionGemma общее качество генерации ниже, чем у стандартной Gemma 4. Следовательно, сравнивать скорость без учёта качества, размеров пакетов и аппаратного окружения некорректно. Указанный объём активных параметров не означает, что для хранения всей модели требуется лишь соответствующий объём памяти под активные параметры.