По сообщению Google от 23 апреля 2026 г. Даты запуска, доступность функций и сравнительные результаты ниже относятся к этому сообщению и отражают данные разработчика. Первоисточник.
Decoupled DiLoCo: новый рубеж для устойчивого распределённого обучения ИИ
Артур Дуйяр и команда DiLoCo
Наша новая распределённая архитектура помогает обучать большие языковые модели (LLM) по разным дата-центрам — с меньшей пропускной способностью и большей аппаратной устойчивостью.
Традиционно обучение передовой модели ИИ зависит от большой плотно связанной системы, в которой одинаковые чипы должны оставаться почти в идеальной синхронизации. Такой подход очень эффективен для современных передовых моделей, но по мере увеличения масштабов будущих поколений поддержание этого уровня синхронизации на тысячах чипов становится существенной логистической проблемой.
Сегодня в новой статье мы рады представить новый подход к этой проблеме, называемый Decoupled DiLoCo (Distributed Low-Communication). Разделяя крупные задачи обучения на разъединённые «острова» вычислений, между которыми асинхронно течут данные, эта архитектура изолирует локальные сбои, позволяя другим частям системы продолжать обучение эффективно.
В результате получается более устойчивый и гибкий способ обучения продвинутых моделей по глобально распределённым дата-центрам. И что важно, Decoupled DiLoCo не страдает от задержек связи, которые делали предыдущие распределённые методы, такие как Data-Parallel, непрактичными в глобальном масштабе.
Уточнение к результатам: первые сравнения пропускной способности и полезной загрузки в источнике получены моделированием. Отдельно Google описывает реальные обучающие эксперименты, в том числе с моделью 12B в четырёх регионах США при связи 2–5 Гбит/с. Эти виды доказательств различаются; результаты и ускорения относятся к указанным условиям, а не гарантируются для любой инфраструктуры.
По мере того как передовые модели продолжают расти в масштабе и сложности, мы изучаем разнообразные подходы к обучению моделей с использованием большего количества вычислений, разных локаций и разнообразного оборудования.
Разделение обучающих прогонов на отдельные «острова» вычислений (единицы обучения) позволяет почти непрерывно обучать модели, несмотря на тот же уровень аппаратных отказов, поскольку эффекты этих отказов локализуются.
Разработка более отказоустойчивого асинхронного обучения в масштабе
Decoupled DiLoCo опирается на два предыдущих достижения: Pathways, который представил распределённую систему ИИ, основанную на асинхронном потоке данных, и DiLoCo, который драматически снизил пропускную способность, требуемую между распределёнными дата-центрами, сделав практичным обучение больших языковых моделей по удалённым локациям.
Decoupled DiLoCo объединяет эти идеи для более гибкого обучения ИИ в масштабе. Построенный поверх Pathways, он обеспечивает асинхронное обучение через отдельные острова вычислений (известные как learner units), так что отказ чипа в одной зоне не прерывает прогресс остальных.
Эта инфраструктура также самоисцеляющаяся. В испытаниях мы использовали метод, называемый «хаос-инжиниринг», чтобы ввести искусственные аппаратные отказы во время прогонов обучения. Decoupled DiLoCo продолжал процесс обучения после потери целых единиц обучения, а затем бесшовно реинтегрировал их, когда они снова становились онлайн.
Тестирование Decoupled DiLoCo на моделях Gemma 4 показало, что при аппаратных сбоях система поддерживает более высокую доступность кластеров обучения по сравнению с более традиционными методами обучения — при этом в конечном счёте достигая того же уровня ML-производительности по бенчмаркам.
Decoupled DiLoCo требует на порядки меньшей пропускной способности, чем традиционные методы обучения, что делает его очень эффективным. При увеличении уровня аппаратных отказов Decoupled DiLoCo продолжает обеспечивать высокий уровень «goodput», то есть полезного обучения, тогда как у других подходов он резко падает. В реальных экспериментах бенчмарковая ML-производительность моделей Gemma 4, обученных с использованием Decoupled DiLoCo, равнялась производительности, достигнутой при традиционных подходах.
Decoupled DiLoCo не только более устойчив к отказам, но и практичен для выполнения производственного полностью распределённого предобучения. Мы успешно обучили модель с 12 миллиардами параметров по четырём отдельным регионам США, используя 2–5 Гбит/с широкополосной сети (уровень, относительно достижимый с использованием существующей интернет‑связи между дата‑центрами, а не требующий новой специализированной сетевой инфраструктуры между объектами). Примечательно, что система достигла этого результата обучения более чем в 20 раз быстрее, чем традиционные методы синхронизации. Это связано с тем, что наша система включает необходимую коммуникацию в более длинные периоды вычислений, избегая «блокирующих» узких мест, где одна часть системы должна ждать другую.
Содействие эволюции инфраструктуры обучения ИИ
В Google мы применяем комплексный подход к обучению ИИ, охватывающий аппаратное обеспечение, программную инфраструктуру и исследования. Все чаще улучшения достигаются за счёт переосмысления того, как эти слои взаимодействуют.
Decoupled DiLoCo — один из таких примеров. Позволяя запускать задания обучения при пропускной способности, доступной в интернете, он может задействовать любой неиспользуемый вычислительный ресурс в любом месте, превращая «заброшенные» мощности в полезную ёмкость.
Помимо эффективности и устойчивости, эта парадигма обучения также открывает возможность смешивать поколения оборудования, такие как TPU v6e и TPU v5p, в одном прогоне обучения. Такой подход не только продлевает срок полезной службы существующего оборудования, но и увеличивает общий объём вычислений, доступный для обучения моделей. В наших экспериментах чипы разных поколений, работающие с разной скоростью, по-прежнему обеспечивали ML‑производительность, сопоставимую с прогоном на одном типе чипов, что гарантирует, что даже более старое оборудование может существенно ускорять обучение ИИ.
Более того, поскольку новые поколения оборудования не появляются везде одновременно, возможность обучения между поколениями может снять повторяющиеся логистические и ёмкостные узкие места.
По мере того как мы расширяем рубежи инфраструктуры ИИ сегодня, мы продолжаем исследовать подходы к устойчивым системам, необходимые для разблокировки следующего поколения ИИ.
Эта работа выполнена командой участников из Google DeepMind и Google Research.
Руководители и основные участники проекта Decoupled DiLoCo: Артур Дуйяр, Кит Раш, Яни Дончев, Закари Чарльз, Айюш Дубей, Блейк Вудворт, Ионел Гог, Йозеф Дин, Нова Фаллен, Закари Гарретт. Операционная поддержка: Нейт Китинг и Дженни Бишоп.
Мы также благодарны за дополнительную поддержку и консультации Джеффу Дину, Марку’Орелио Ранцато, Райе Хадселл, Артуру Слам, Эдуару Ивинеку, Генри Приору, Полу Бархаму, Майклу Изарду, Даниэлю Реймейджу, Брендану МакМаану, Кейсу Хенселу и Золтану Эгеду.