​Speech2Face: генерация портрета человека по его голосу

Исследователи из Массачусетского технологического института разработали нейросеть, которая способна сгенерировать примерный портрет человека по спектрограмме его голоса. Работа получила название Speech2Face и была опубликована на arXiv.org.

Нейронная сеть анализирует корреляции голоса и лица, которые позволяют создавать изображения, отражающие различные физические характеристики говорящих: возраст, пол и этническую принадлежность. В качестве обучающих данных инженеры использовали несколько миллионов видеозаписей, где есть портрет человека и его голос.

По словам авторов проекта, нейросеть уже достаточно точно определяет пол говорящего и его национальность, но совершенно не угадывает с возрастом человека.

#hey_news
Источник: arXiv.org