По сообщению Google от 10 июня 2026 г. Даты запуска, доступность функций и сравнительные результаты ниже относятся к этому сообщению и отражают данные разработчика. Первоисточник.
DiffusionGemma: по данным Google, генерация до четырёх раз быстрее в тестах на выделенном GPU
Наш новейший открытый экспериментальный модельный проект обеспечивает до 4× более быструю генерацию на выделенных GPU и открывает путь к исследованиям интерактивных локальных рабочих процессов, критичных к скорости.
Сегодня мы представляем DiffusionGemma — экспериментальную открытую модель, исследующую текстовую диффузию, исключительно быструю методику генерации текста. Выпущенная под лицензией Apache 2.0, эта модель с 26 миллиардами параметров в архитектуре Mixture of Experts (MoE) уходит от последовательной построчной обработки токен за токеном, присущей типичным автрорегрессивным крупным языковым моделям (LLM). Вместо этого она генерирует целые блоки текста одновременно, обеспечивая до 4× более быструю генерацию текста на GPU.
Построенная на базе передовой эффективности по параметру семейства Gemma 4 и на исследованиях в области диффузии Gemini, DiffusionGemma интегрирует новый диффузионный хед, разработанный для максимизации скорости генерации. В то время как автрорегрессивные модели Gemma 4 остаются стандартом для выходов высокого качества в продуктивных задачах, DiffusionGemma предназначена для исследователей и разработчиков, изучающих интерактивные локальные рабочие процессы, критичные к скорости, такие как встроенное редактирование, быстрая итерация и генерация нелинейных текстовых структур.
Разработчики, создающие интерактивные AI-приложения в реальном времени, часто сталкиваются с узким местом задержки при локальном инференсе. DiffusionGemma решает эти задачи напрямую, с рядом ключевых компромиссов:
- Чрезвычайно быстрый инференс: смещая узкое место декодирования с пропускной способности памяти на вычисления, DiffusionGemma генерирует токены до 4× быстрее на выделенных GPU. (1000+ токенов в секунду на одном NVIDIA H100, 700+ токенов в секунду на NVIDIA GeForce RTX 5090).
- Доступный аппаратный след: как модель MoE с общим объемом 26B, которая активирует только 3.8B параметров во время инференса, DiffusionGemma комфортно помещается в пределы 18 ГБ видеопамяти современных высокопроизводительных потребительских GPU при квантизации.
- Двунаправленное внимание: генерация 256 токенов параллельно в каждом прямом проходе позволяет каждому токену учитывать все остальные. Это дает значительные преимущества для нелинейных доменов, таких как встроенное редактирование, дополнение кода, последовательности аминокислот или математические графы.
- Интеллектуальная самокоррекция: модель итеративно уточняет собственный вывод, оценивая целый текстовый блок разом для исправления ошибок в реальном времени.
Экспериментальный статус и рекомендации для продакшена: поскольку приоритетом является скорость и параллельная генерация макета, общее качество вывода DiffusionGemma ниже, чем у стандартной Gemma 4. Для приложений, требующих максимального качества, мы рекомендуем использовать стандартную Gemma 4.
Вы можете улучшить производительность DiffusionGemma под конкретные задачи через дообучение. В приведенном примере Unsloth дообучил DiffusionGemma для решения Судоку — задачи, с которой автрорегрессивные модели испытывают трудности, потому что каждый токен зависит от будущих токенов. Двунаправленное внимание DiffusionGemma делает эту задачу значительно проще.
Дообученная DiffusionGemma решает Судоку.
Хотя исследовательское сообщество давно изучает диффузионную генерацию текста, применение этого подхода в больших моделях оставалось проблемой. DiffusionGemma изменяет ситуацию, смещая способ использования аппаратного обеспечения моделями.
Компромисс традиционных моделей
Большинство языковых моделей действуют как пишущая машинка, генерируя один токен за раз слева направо. В облаке это эффективно, потому что серверы могут пакетировать тысячи пользовательских запросов вместе и совместно использовать аппаратную нагрузку. Но при локальном запуске для одного пользователя этот по-словный процесс оставляет ваш выделенный GPU или TPU недозагруженным — он большую часть времени просто ждет следующего «нажатия клавиши».
DiffusionGemma переворачивает эту неэффективность. Вместо последовательного предсказания слов она оформляет целый абзац из 256 токенов одновременно. Давая процессору больший объем работы за один раз, DiffusionGemma использует аппаратное обеспечение на полную мощность. Она преобразует инференс модели из одиночной последовательной пишущей машинки в огромную печатную машину, которая отпечатывает весь блок текста разом.
Это означает, что ускорение DiffusionGemma рассчитано на локальный инференс и низкую конкуренцию запросов. При облачном обслуживании с высоким QPS автрорегрессивные модели можно развернуть так, чтобы эффективно насыщать вычисления, поэтому параллельный декодинг DiffusionGemma даёт убывающую отдачу и может привести к более высоким затратам на сервисинг. Преимущество по пропускной способности наиболее заметно при малых и средних размерах батча на одном ускорителе.
Похоже на генераторы изображений ИИ, которые начинают с визуального шума и итеративно уточняют его до чёткого изображения, DiffusionGemma применяет ту же идею к тексту:
- Холст: модель начинает с холста случайных заполнительных токенов.
- Итеративное уточнение: модель делает несколько проходов, закрепляя правильные токены и используя их как контекстные подсказки для уточнения остальных.
- Финальная полировка: текст сходится в высококачественный вывод.
Поскольку модель может обрабатывать весь абзац в процессе генерации, это открывает новые паттерны поведения модели, например, корректное закрытие сложной разметки markdown или генерация и рендеринг кода почти в реальном времени.
Загрузите веса: получите экспериментальные веса модели (выпущенные под разрешительной лицензией Apache 2.0) прямо сейчас на Hugging Face.
Интеграция и обучение: узнайте больше в руководстве для разработчиков DiffusionGemma. Или погрузитесь глубже в Визуальное руководство по DiffusionGemma, чтобы понять механику под капотом.
Используйте любимые инструменты разработки: эффективно обслуживайте модель с помощью MLX, vLLM (с интеграцией, поддерживаемой Red Hat) и Hugging Face Transformers. Для быстрой экспериментации мы выпускаем туториал по дообучению с использованием Hackable Diffusion — модульного JAX-инструментария, разработанного для комбинаторности. Вы также можете исследовать дообучение с Unsloth и NVIDIA NeMo. Кроме того, официальная поддержка для llama.cpp появится вскоре.
Ощутите оптимизированную производительность: мы работали с NVIDIA для оптимизации по их аппаратному стеку, обеспечивая совместимость с потребительскими системами (квантование для GeForce RTX 5090 и 4090) наряду с высокой производительностью на корпоративных системах (Hopper и Blackwell с использованием продвинутых NVFP4 ядер), включая NVIDIA DGX Spark и DGX Station для локального размещения на рабочем столе, а также RTX PRO для AI-профессионалов. Нативная поддержка NVFP4 (4-битный формат с плавающей запятой) ускоряет пропускную способность вычислений, позволяя модели работать быстрее с близкой к безпотерям точностью.
Попробуйте любой способ: запускайте на вашем настольном выделенном GPU или в облаке через Gemini Enterprise Agent Platform Model Garden или NVIDIA NIM.
Примечание: поскольку это ускорение опирается на высокую арифметическую интенсивность ускорителей, унифицированные архитектуры памяти, как в Apple Silicon Mac — которые имеют более низкое отношение вычислений к пропускной способности памяти — могут не показывать такого же ускорения по сравнению с автрорегрессивными моделями, такими как Gemma 4.
Gemini 4 Argon теперь доступен для разработчиков.
EmbeddingGemma 2: открытая, легкая мультимодальная модель встраиваний
Создавайте приложения с голосовым вводом в реальном времени с Gemini 3.8 Live и 3.5 Transcribe
Последние новости в области ИИ, которые мы анонсировали в августе 2026 года
Сочетание Google Antigravity с Gemini 3.7 Flash решает заметные задачи многопользовательской математики и инженерии.