Google представила SL2T — модель для перевода жестового языка в текст, разработанную командами DeepMind и Android. Описанный выпуск ориентирован на перевод американского жестового языка (ASL) на английский и интеграцию с Gboard и Live Transcribe на Pixel 11.
Жестовые языки обладают собственной грамматикой и используют движения рук, корпуса, головы и мимику, поэтому задача перевода сложнее простой замены каждого жеста отдельным словом английского языка.
Для работы системы на устройстве с помощью MediaPipe Holistic выделяются точки позы. На сервер для перевода передаётся не исходное видео, а последовательность геометрических координат, что уменьшает объём передаваемых данных. При этом перевод не выполняется полностью локально на телефоне, и передаваемые координаты не следует автоматически считать анонимными.
Команда проекта работала с представителями глухого сообщества и консультативным комитетом AISLAC. Разработчики отмечают сохраняющиеся ограничения: ошибки при быстром пальцевом написании, сложности с редкими жестами и то, что наличие многоязычных тренировочных данных не означает, что продукт поддерживает все жестовые языки.