Adversarial Examples that Fool both Human and Computer Vision
https://arxiv.org/pdf/1802.08195.pdf
За обзор спасибо @googloed1
Когда – 22 февраля 2018

В чём понт
Метод создания состязательных (adversarial) примеров для людей – небольшие изменения картинки, из-за которых кошку назовёшь собакой. Оптические иллюзии известны уже давно, но они никогда ещё не делались градиентным спуском. Конечно, если пристально вглядываться в картинку, то можно понять что же это. Но “на первый взгляд” обмануться достаточно легко, поэтому при проверке на людях картинку показывают всего на 0.07 секунды. Чуть больше чем в половине случаев атака на восприятие происходила успешно.

Подробности
Состязательные (adversarial) примеры
Первых состязательные примеры строились с полным знанием архитектуры и параметров сети. Удавалось получить изменения цвета пикселей на величины меньше чем 1/255, то есть такие незаметные, что их даже в jpg нельзя записать. Поэтому состязательные примеры часто ассоциируются с незаметностью человеческому глазу и олицетворением различия восприятия человека и свёрточных сетей. Так обучив состязательные примеры на ансамбле свёрточных сетей, можно обманывать почти все существующие методы компьютерного зрения, даже решающие деревья, но оставаться незаметным человеку.

Зрение людей и свёрточные сети
Многие отмечают сходство первых слоёв сетчатки и свёрточных сетей, а во время быстрого реагирования в зрительной коре сигнал успевает пройти только в одну сторону, так же как и feed-forward свёрточная сеть. Поэтому то, почему человек не обманывается вслед за машинным зрением кажется странным. Ответ авторов: не хватает размытия по краям от центра взгляда. В качестве первого слоя во всех моделях ансамбля выступает обрезание высоких частот Фурье-преобразования картинки. Способы которыми можно обмануть такой ансамбль с размытием работают и на людях.

Проверка на людях
Для проверки людям показывали картинку на экране, а им нужно было выбрать из двух вариантов (кошка или собака, паук или змея, броколли или капуста). Картинки были из 4 категорий: оригинальные картинки для контроля, состязательные (из кошки сделать собаку), с шумом (состязательное изменение накладывается с отражением) и неправильные (что-то ещё, например самолёт в кошку). Картинки с шумом нужны, что бы учесть вариант снижения читаемости картинки из-за ухудшения. Поэтому внеся точно такое же изменение но отраженное, ухудшение читаемости примерно такое же, но все эффекты проявляются в не нужных местах.

Что в итоге
Классические состязательные примеры используют тот факт, что свёрточная сеть воспринимает все детали сразу. И много мелких изменений на картинке остаются не заметными для человеческого взгляда. Но добавление слоя размывания делает состязательные примеры и для людей.