🔎 Исследование: алгоритмы машинного обучения можно принудить к утечке конфиденциальной информации, если скомпрометировать обучающие данные. Международная команда ученых и инженеры из Google продемонстрировали, как можно извлечь личные сведения вроде номера соцстрахования из языковой модели, вставив скрытый образец в тренировочный датасет. По их словам, злоумышленнику достаточно знать некоторую информацию о структуре набора данных, чтобы получить желаемое. ☢️ Исследователи скомпрометировали 64 предложения в датасете WikiText, чтобы извлечь шестизначное число из обученной модели примерно после 230 угадываний — в 39 раз меньше количества запросов, требуемых в случае «чистого» набора данных. Дополнительно они натренировали «теневые модели» имитировать поведение атакуемых систем, чтобы дополнительно упростить поиск. «Теневую модель» можно обучить на той же информации, что и основную. Следовательно, алгоритм будет генерировать аналогичные выходные данные для одинаковых запросов. Если оригинальная языковая нейросеть начнет выдавать отличающийся текст, злоумышленник поймет, что вместо этого он извлекает образцы из личных обучающих данных, заявили исследователи. 💬 По словам ученых, такие атаки работают на всех типах систем, включая компьютерное зрение. Особенно подвержено взлому коммерческое здравоохранение, где много работающих с конфиденциальными данными конкурирующих компаний, добавили они. #исследование #кибербезопасность