Браузер Яндекса научился переводить прямые трансляции Яндекс анонсировал запуск перевода стримов в Браузере – технология вышла в открытую бету. Предыдущая громкая новинка – закадровый перевод уже записанных YouTube-роликов – запустилась в сентябре прошлого года. Кстати, пользователи посмотрели с голосовым переводом уже 81 миллион роликов в яндекс браузере. Но теперь разработчики замахнулись на потоковый перевод лайвов. Для синхронного перевода трансляций прежние подходы не работают, так как переводить нужно в режиме реального времени, алгоритм не может скачать всю аудиодорожку из ролика и обработать ее сразу (как было раньше – в переводе записанных видео). Для решения задачи работают 5 нейросетей. Одна распознает аудиодорожку и превращает её в текст, затем вторая нейросеть определяет пол спикера, третья нарезает текст на предложения, расставляет знаки препинания и выделяет из него куски, которые содержат законченную мысль. Четвертая переводит полученные отрезки текста, а пятая уже синтезирует речь. На этот процесс пока нужно от 30 до 50 секунд задержки, но ощущение прямого эфира все равно остается. В будущем разработчики планируют снизить задержку. Посмотреть, как это работает в бете, уже можно через Яндекс браузер на примере некоторых трансляций, например здесь или здесь. Далее собираются добавлять новые языки и расширять список доступных для перевода трансляций. Кажется, не за горами тот день, когда мы сможем смотреть крутые международные конференции сразу на русском – пока звучит как чудо, но технология уже работает.