DeepMind представила Decoupled DiLoCo — подход к обучению моделей на распределённых вычислительных ресурсах. Он сочетает механизм DiLoCo с инфраструктурой Pathways и снижает необходимость синхронной работы всех групп ускорителей.
В предложенной схеме отдельные вычислительные группы выполняют локальные обновления и периодически обмениваются состоянием сети. При сбое одной группы остальные продолжают обучение; восстановившаяся группа затем снова интегрируется в общий процесс.
Авторы приводят результаты моделирования и эксперименты на реальном оборудовании. В числе приведённых примеров — запуск модели с 12 миллиардами параметров в нескольких регионах при пропускной способности сетей в диапазоне нескольких гигабит в секунду и эксперименты с неоднородными TPU.
Идея метода — уменьшить потери времени из‑за ожидания синхронизации и повысить гибкость распределённого запуска. Это не означает, что любые разрозненные устройства автоматически образуют эффективный кластер: итог зависит от архитектуры модели, объёма обмена данными, характеристик оборудования и организации процесса обучения. Приведённые ускорения справедливы для условий, в которых проводились эксперименты, и не являются универсальной гарантией для всех конфигураций.