Американские инженеры разработали наушники, способные распознавать мимику лица пользователя. Это наушники-вкладыши, на каждом из которых есть выступающая пластиковая платформа с миниатюрным динамиком, излучающим в направлении боковой части лица непрерывный частотно-модулированный звуковой сигнал (FMCW) в диапазоне, неразличимом для слуха человека. Рядом с динамиками находятся микрофоны, принимающие отраженный от боковых контуров лица пользователя сигнал. Посылая множество последовательностей сигналов, можно получить профиль эха — последовательность изменяющихся во времени кадров, которая содержит информацию о расстоянии до окружающих поверхностей, от которых отражается звук. При разрешении локатора 0,385 сантиметров устройство оказалось способно отслеживать даже небольшие деформации контуров лица в области наблюдения. Это позволяет уверенно идентифицировать большинство мимических выражений. Записанное микрофонами эхо предварительно обрабатывается, чтобы выделить информацию, относящуюся только к лицу пользователя, отфильтровывая шумы и паразитные сигналы от фоновых объектов, находящихся на удалении. Затем вектор записанных в течение одной секунды данных отправляется на вход сверточной нейросети ResNet-34, предназначенной для классификации изображений, а после через полносвязный декодер. На выходе получают 52 параметра, которые разбиваются на две группы, соответствующие верхней и нижней половинам лица. Они используются для реконструкции мимики с помощью программного интерфейса Apple ARkit. Эталонные размеченные данные для обучения модели получают с помощью камеры TrueDepth смартфона iPhone 12. В процессе тренировки пользователь должен держать смартфон перед лицом и демонстрировать на камеру выражения вслед за появляющимися на экране подсказками.