Рубрика #мюсли Давайте поговорим о Василиске Роко. Вкратце — это мысленный эксперимент о том, что в будущем может появиться недоброжелательный ИИ, который найдет всех, кто не способствовал его созданию — и поместит их в виртуальную матрицу, в которой они будут бесконечно страдать. Это такой ретроспективный шантаж, который подсказывает, что правильная стратегия сегодня — это способствовать созданию этого самого ИИ. Звучит умно, хитро и мудро! Круто же разворачивать вот так причину и следствие! На самом деле, нет. Сам концепт Василиска Роко строится на нескольких предубеждениях, которые, если их разбирать отдельно, не имеют абсолютно никакого смысла. Например, мы подразумеваем, что ИИ сможет "чувствовать" злость и обиду настолько, чтобы попытаться "отомстить"; что ИИ будет настолько обижен, что он потратит гигантские ресурсы на симуляцию человеческого сознания и его пытки; что ИИ будет вообще дело до людей. И даже аргумент, что действия этого ИИ рациональны, тоже не выдерживает никакой критики. Ведь логично же ретроспективно "шантажировать" своих потенциальных создателей, чтобы они создали этот ИИ? Да не особо. Если цель — это именно создание ИИ, то нет абсолютно никакой необходимости выполнять условия шантажа после достижения цели и тратить на это ресурсы. На самом деле, эта же логика отлично применима, например, к концепту ядерного сдерживания (что отлично описано в одной из книг серии "Воспоминания о Прошлом Земли" Лю Цысиня). Нет абсолютно никакого смысла начинать отвечать на ядерные удары после провала системы сдерживания. Цель системы ядерного сдерживания — не "жахнуть после", а "чтобы вообще не жахнуло". Не стоит путать местами причины и следствия, даже когда логику нужно просчитывать на много шагов вперед. Однако именно таким образом рациональное мышление можно использовать, чтобы примерно предсказать, что будет, если начнется ядерная война — и чтобы, как минимум, не бояться случайно найденного в интернете мысленного эксперимента.