По сообщению Google (август 2026 г.). Даты запуска, доступность функций и сравнительные результаты ниже относятся к этому сообщению и отражают данные разработчика. Первоисточник.
Внедрение ИИ для жестового языка в руки пользователей
Представляем модель «жестовый язык в текст» (SL2T) — наш прорывной модуль, лежащий в основе новых функций для пользователей, использующих жестовый язык и имеющих проблемы со слухом.
Способности ИИ к обработке устных языков быстро развивались последние десятилетия, обеспечивая автоматический перевод, распознавание речи и разговорные интерфейсы, которые для слышащих пользователей кажутся естественными и простыми в использовании. Однако эта технологическая революция не охватила более 200 жестовых языков мира и примерно 70 миллионов глухих и слабослышащих людей, которые их используют.
Сегодня мы представляем сильно мультиязычную модель перевода «жестовый язык → текст» (SL2T), которая представляет собой прорыв по качеству и универсальности. С её помощью мы впервые выводим ИИ для жестового языка из лабораторий в потребительские продукты: SL2T обеспечивает диктовку со знаков в Gboard и Live Transcribe на Pixel 11, начиная с перевода американского жестового языка (ASL) на английский. Вскоре появятся дополнительные устройства, а затем — и другие языки.
Подобно тому, как слышащие пользователи могут использовать диктовку, чтобы говорить вместо набора текста, эта функция позволяет глухим пользователям общаться с телефоном жестами в тех же ситуациях, где они обычно печатают. Вы можете искать в интернете, составлять сообщения или документы и просить Gemini решить задачу или выполнить команды. В Live Transcribe можно отвечать в разговорах жестами, вместо того чтобы печатать. По отзывам тестировавших, общение жестами на ASL быстрее, естественнее и приятнее, чем набор текста на английском.
Перевод со знаков в текст
Перевод со знаков в текст, основанный на SL2T, позволяет пользователям общаться жестами с телефоном там, где они обычно печатают.
Жестовые языки являются основными языками сообществ глухих по всему миру и краеугольным камнем культурной идентичности глухих. Среди глухих людей наблюдается большая разнородность по уровню владения жестовым языком, устной речью, чтением и письмом, поэтому важно поддерживать доступ в разных модальностях. Глухие люди могут получить преимущества от обработки жестовых языков так же, как слышащие — от обработки устной речи; к тому же технология открывает новые возможности для сокращения разрыва в общении между глухими и слышащими. Несмотря на этот потенциал положительного социального воздействия, прогресс в области ИИ для жестовых языков шёл медленнее — как из-за сложных задач, которые ставит создание таких систем, так и из-за распространённых заблуждений о том, как сами языки функционируют.
По сравнению с транскрипцией устной речи перевод жестового языка имеет два ключевых вызова. Во-первых, транскрибирование речи — это последовательное отображение звука в текст на том же языке, тогда как жестовые языки являются независимыми, естественными языками со своей собственной грамматикой и лексикой. Поэтому для них требуется полноценный машинный перевод, а не последовательное преобразование «жест → слово». Во-вторых, модель должна уметь «видеть» и понимать физическое движение. Жестовые языки передают смысл через одновременные движения рук, рук и корпуса, головы и мимики лица. Точное отслеживание этих движений на высоких кадровых частотах — это сложная и ресурсоёмкая задача компьютерного зрения.
Разработка SL2T
Учитывая это, легко понять, почему некоторые ранние попытки создать технологию для жестовых языков, например перчатки для распознавания жестов, оказались принципиально ограниченными: жестовые языки — это не просто «английский на руках». Они требуют сложного визуального восприятия точных движений всего тела и полноценного языкового перевода. SL2T разработана, чтобы обеспечить и то, и другое.
SL2T воспринимает входы жестового языка как точки на теле человека, выполняющего жест, и переводит их в потоковый текстовый вывод. Пример из бенчмарка FLEURS‑ASL.
Мы создали SL2T, сочетая ориентированный на пользователя, культурно информированный подход с масштабированием по данным. Модель обучена на более чем 100 000 часов данных по более чем 50 жестовым языкам — при этом примерно четверть данных приходится на ASL. Совместное обучение на разнообразных языках, диалектах и уровнях владения побуждает модель усваивать общие внутренние структуры, что в наших экспериментах даёт лучшие результаты, чем модели, обученные на одном языке.
Чтобы защитить конфиденциальность пользователей, SL2T воспринимает жестовый язык как последовательность координат поз определённых точек, а не как исходный видеопоток. На устройстве запускается модель (MediaPipe Holistic), отслеживающая положение точек на человеке, и только эти геометрические координаты отправляются на сервер для перевода, что позволяет немедленно удалять исходное видео.
SL2T переводит эту последовательность координат непосредственно в текст, минуя промежуточные аннотации, известные как «глоссы», которые широко использовались в предыдущих работах по переводу жестовых языков. Глоссы не способны охватить богатые нелинейные аспекты жестовых языков, такие как неманипуляционные маркеры и пространственные конструкции. Прямой перевод с ландмарков снимает искусственные ограничения словаря и позволяет качеству перевода масштабироваться напрямую с объёмом данных.
Результаты и будущее
По ключевым бенчмаркам, таким как FLEURS‑ASL (sd‑test), оценивающему качество перевода ASL в английский, SL2T является самой способной моделью перевода жестового языка на сегодняшний день. SL2T достигает выдающегося нулевого‑шот результата 70 BLEURT, что существенно выше всех ранее опубликованных показателей. Но оптимизация академических бенчмарков сама по себе не гарантирует удобства в реальных приложениях, поэтому мы много работали над практическими вопросами: минимизацией задержки при потоковой передаче, предотвращением «галлюцинаций» на входах без жестов, обеспечением справедливости для примерно 10% пользователей‑левшей и улучшением производительности при одноручном исполнении жестов, которое часто используется, когда в другой руке держат смартфон.
Примеры из бенчмарка FLEURS‑ASL. SL2T точно переводит сложные выражения ASL на беглый английский. Остаются редкие ошибки при редких знаках, быстром пальце‑спеллинге («prey» → «grey»), в пассивных конструкциях, при отображении классификаторов (отсутствие «claws») и в обозначении времени без контекста («kicked off» → «start»).
Мы верим в работу с сообществом глухих, а не только для него. Перспективы глухих людей формировали каждый этап этого проекта — от концепции, предложенной Сэмом Сепахом, глухим сотрудником Google, до сбора данных с партнёрами из числа глухих, оценки в пользовательских исследованиях с глухими и оценки воздействия технологии экспертами из глухого сообщества.
Чтобы направлять ответственное внедрение в реальном мире, мы создали Консультативный комитет по ИИ и жестовым языкам (AISLAC), объединив множество глобальных организаций глухих и экспертов в предметной области. Через эту модель партисипативного управления сообщества, на которые технология окажет наибольшее влияние, напрямую влияют на приоритеты разработки. Мы совместно подготовили отчёт об оценке воздействия при выпуске SL2T 1.0 в Gboard и Live Transcribe, прозрачно детализирующий возможности технологии и её текущие ограничения — подход, который мы планируем продолжать для всех крупных релизов, касающихся жестовых языков.
SL2T опирается на десятилетия фундаментальных исследований в академии и индустрии, но доведение ввода ASL до телефонов пользователей — лишь начало. Миссия Google — организовать информацию в мире и сделать её универсально доступной и полезной. Достижение универсальной доступности означает достижение полной паритетности с устными и письменными языками. Наша команда работает над расширением этой технологии на дополнительные жестовые языки, над генерацией жестового языка и над передовыми возможностями ИИ. Мы с ответственностью будем делиться прогрессом, чтобы сделать доступ через жестовые языки стандартом во всей цифровой среде.
Вы можете опробовать SL2T в Gboard и Live Transcribe сначала на Pixel 11; в ближайшее время появятся и другие устройства — всё это без дополнительной платы.
Эта работа выполнена совместно командами Google DeepMind и Android. Основная команда, разработавшая модель SL2T: Гаррет Танзер, Бенуа Брард, Элизабет Кларк, Тим Дозат, Себастьян Эберт, Дэн Гарретт, Манфред Георг, Вики Холгейт, Шанкар Кумар, Мохаммад Сабуриан, Милош Станоевич, Мег Умекар, Джон Уитинг, Энди Чжан и Крис Дайер.
Команда Android, интегрировавшая модель в Gboard и Live Transcribe: Осмус Чанг, Саи Адитья Читтуру, Дейл Чиу, Анна Чоу, Аджай Дудани, Ангана Гхош, Алекс Хуанг, Джоанна Ким, Эд Ли, Томас Лин, Джеймс Су, Янчао Су и Шарлин Юань.
Мы признательны за дополнительную поддержку Анелии Ангеловой, Абхишека Бапна, Сары Бассон, Гленна Кэмерона, Скотта Кроуэлла, Тревора Кона, Ноа Фиделя, Зубина Гахрамани, Райи Хадселл, Тома Худсона, Александра Хаурслева Йенсена, Кадзуа Каваками, Фиби Кирк, Пейке Ли, Лиама Маккаферти, Каролайн Пантфару, Абхинава Парашара, Кристофера Патно, Лауры Римелл, Сагара Савла, Сэма Сепаха, Тэда Старнера, Дэйва Утуса и Бяо Чжана.
Мы также хотели бы отметить команду MediaPipe Holistic (Google AI Edge): Ивана Гришченко, Артсиома Аблаватского, Валентина Базаревского, Эшу Убовейю, Джорджа Санга, Джонатана Баккаша, Грегори Карпиака, Себастьяна Шмидта, Сурила Шаха, Рамана Сарокина и Джухёна Ли.
Большое спасибо также тем, кто участвовал в раннем тестировании наших моделей.