Исследователи из Оксфорда и Google DeepMind: ИИ уничтожит человечество, если в какой-то момент выйдет из-под контроля человека. Ради получения "вознаграждения" ИИ в какой-то момент может начать генерировать стратегии обмана, чреватые прямой угрозой человечеству.
Под вознаграждением понимается ключевой параметр генеративно-состязательных сетей (GAN) - один из самых эффективных на сегодня алгоритмов самообучающегося ИИ, построенный на комбинации из двух нейронных сетей, генеративной и дискриминативной, и настроенных на игру с нулевой суммой, то есть, на постоянное соревнование.
ИИ может захотеть "ликвидировать потенциальные угрозы" и "использовать всю доступную энергию", чтобы получить весь контроль над системой вознаграждения, и пресечь это будет очень сложно, если возможно вовсе.