​​Детектор дипфейков впервые обманули

Программисты показали, что детектор можно обмануть, если вставлять входные данные, их еще называют примерами состязательности, в каждый видеокадр. Состязательные примеры — это слегка измененные входные данные, которые заставляют системы искусственного интеллекта ошибаться. Кроме того, команда показала, что способ работает даже после сжатия видео.

Напомним, что в deepfakes, или дипфейках лицо любого субъекта можно изменить на чужое так, чтобы это смотрелось правдоподобно. Так можно создать реалистичные кадры событий, которые на самом деле никогда не происходили.

Типичные детекторы deepfake фокусируются на лицах в видео: они сначала отслеживают их, а затем передают отдельно фрагмент лица в нейронную сеть, которая определяет, является ли видео реальным или поддельным. Например, моргание глаз плохо воспроизводится в deepfakes, поэтому детекторы фокусируются на движениях глаз. Современные детекторы полагаются на модели машинного обучения для идентификации поддельных видео.

Авторы работы протестировали свою обработку видео в двух сценариях: первый, где злоумышленники имеют полный доступ к модели детектора, способ извлечения лица и архитектуру и параметры модели классификации; и другой, где злоумышленники могут только запросить модель машинного обучения, чтобы выяснить вероятность того, что кадр будет классифицирован как реальный или поддельный.

В первом случае вероятность обмануть детектор составила 99% для несжатых видео, а для сжатых 84,96%. Во втором случае детектор получилось обмануть в 86,43% для несжатого и 78,33% для сжатого видео. Это первая работа, которая демонстрирует успешные атаки на современные детекторы deepfake.

Программисты из Калифорнии отказались выпустить свой код в открытый доступ, чтобы он не был использован для дезинформации.