Помните Яндекс браузер презентовал закадровый перевод YouTube-видео? В компании посчитали, что иностранные ролики с голосовым переводом на русский посмотрели 81 млн раз с момента запуска фичи. Команда браузера пошла дальше и теперь запустила потоковый перевод трансляций – технология уже в открытой бете, потестить можно на некоторых ютуб-каналах. Стримы нужно переводить в режиме реального времени, а это большой челлендж не только для людей, но и для нейросетей. Для хорошего перевода очень важен контекст, поэтому нейросети нужно подать на вход как можно больше текста за один раз. С другой стороны, задержка должна быть минимальной, иначе это будет уже не прямой эфир. Поэтому важно начать переводить как можно скорее — не в режиме синхронного перевода, но близко к нему. За весь процесс отвечают 5 нейросетей. Первая распознает аудио и превращает его в текст. Вторая определяет пол спикера. Но самую важную работу делает третья – она расставляет знаки препинания и выделяет из текста части, содержащие законченную мысль. Четвертая переводит полученный текст, а пятая синтезирует речь на русском языке. При этом задержка перевода может составлять от 30 до 50 секунд – пока довольно много, конечно, но нейросетям нужно время, чтобы получить смысловой контекст, перевести речь, синтезировать звук и “положить” его поверх оригинальной звуковой дорожки. Потестить технологию уже можно через Яндекс браузер на компьютере, выбрав трансляции из списка – например, этот космический стрим. Планируется расширение функционала вплоть до стримов на Twitch и добавление других языков. Не припомним, чтобы кто-то еще так заморачивался со встроенным куда-то закадровым переводчиком трансляций – пионерам всегда тяжелее остальных, но здорово, что есть те, кто не пугается сложных задач.