«Яндекс» запустил синхронный перевод прямых трансляций в браузере. Представители компании сообщили, что синхронный перевод видеороликов сильно отличается от перевода прямых эфиров. Если в первом случае нейросеть получает сразу всю звуковую дорожку и может понять контекст, то во втором случае такой возможности нет и текст надо переводить сразу. Работа с переводом прямой трансляции строится таким образом: одна нейросеть распознает аудио и превращает его в текст, другая – определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает еще одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке. «Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. (с) Газета.ру Технология перевода видеороликов — топ. Технология синхронного перевода — топ-топ. Ждём возможности выбора голосов.