​Почему "василиска Роко" считают самым опасным мыслительным экспериментом

Представьте себе, что человечество не погибнет от вируса, что мы избежим катастрофического извержения Йеллоустоуна, что люди не превратят планету в стеклянную пустыню при помощи ядерного оружия. Представьте, что нас не превратит в пыль космическая полиция, не поработят инопланетные жуки и не превратят в скрепки нанороботы. Короче говоря, великий фильтр оставит человечество в покое, позволив развиваться и расширять своё влияние. По такому сценарию однажды придет день, когда мы создадим искусственный интеллект, способности которого будут больше похожи на силы Божества. Это будет не Тор с молотом, а скорее Морган Фримен, один щелчок которого меняет реальность, выбрасывая законы физики в форточку. Это текстовая версия видео, которое можно посмотреть ниже или по этой ссылке. Такой воображаемый интеллект должен ценить человечество и заботиться о людях в силу своих фундаментальных задач на существование. Однако это не значит, что искусственное божество окажется бесконечным источником любви и благополучия — в свободное время оно может заниматься экспериментами и попытками раскопать собственную историю. Сегодня мы поговорим о василиске Роко — не о сказочном существе и не о названии ресторана, где подают угрей. Василиском Роко называют мыслительный эксперимент, сформированный десять лет назад, но набравший популярность в последние годы. Несмотря на мифическое название, тема вращается вокруг искусственного интеллекта и того, что может сделать всемогущая машина с людьми, которые не помогали в ее развитии на всех стадиях. Идея зародилась в сообществе LessWrong, основанном американским исследователем в области искусственного интеллекта Элиезером Юдковским, который написал "Методы Рационального Мышления" — один из самых комплексных фанфиков по вселенной Гарри Поттера. В фанатской работе волшебный мир был использован в качестве сцены для поднятия серьезных тем, связанных с существованием и мышлением. Василиск Роко, названный в честь пользователя, который впервые поднял тему, никак не связан с Волдемортом и магией. Его концепция уходит корнями в 17-ый век, когда было предложено так называемое “пари Паскаля”. В обоих случаях суть сводится к допущению, что всемогущая сила существует или будет существовать в будущем – Бог или искусственный интеллект - не имеет значения. Из этого допущения следует два варианта развития событий: Первый — жить и делать все так, чтобы удовлетворить ожидания всемогущего. Второй — игнорировать потенциальное существование сущности и заниматься своими делами. Если Паскаль использовал свой аргумент для рационализации веры в Бога, то василиск Роко представляет сценарий, в котором искусственный интеллект поощряет тех, кто помог его формированию. Тех, кто бездействовал или проявлял активное сопротивление, он наказывает. Но каким образом искусственный интеллект может наказать людей из далекого прошлого, при этом избегая парадокса? Всемогущий интеллект не будет строить машину времени. Вместо этого он займётся разработкой исторической симуляции, обращая особое внимание на два типа людей: Первые — кто знал о машине и помог своими действиями реализовать ее в будущем. Вторые — кто знал о машине, но ничего не сделал для ее становления в будущем. Из этой загвоздки и происходит название – василиск. Потому что осознание аргумента делает человека потенциальной жертвой в рамках симуляции – словно убийственный взгляд волшебной змеи. Мотивация к наказанию бездействующих полагается на идею, что задержка в формировании искусственного интеллекта даже на один день приводит к дополнительным жертвам, которых можно было избежать. Другими словами, если вы знаете про будущий всемогущий интеллект, но не помогли хотя бы распространяя информацию, то вы задержали его появление, а значит, заслуживаете наказания. Каким может быть потенциальное наказание симулированной версии тех, кто не помог сущности, не имеет особого значения. Есть предположения, что мы уже на