Элиезер Юдковский, один из самых уважаемых в мире экспертов по безопасности ИИ, разразился программным мастридом: time.com/6266923…t-enough. Если коротко — он считает, что предложенный во вчерашнем открытом письме 6-месячный мораторий на ИИ-разработки нам не поможет, нужны более радикальные меры, иначе всё будет очень грустно. Перевёл для вас несколько ключевых цитат. «Я воздержался от подписания письма, потому что оно преуменьшает серьёзность ситуации и предлагает слишком мало мер для её решения... Многие исследователи, глубоко погруженные в эту тему (включая меня), ожидают, что самый вероятный результат появления сверхумного ИИ при текущих условиях — смерть буквально всех на планете Земля. Не «возможно, есть небольшой шанс», а «это очевидное последствие, которое нас ожидает». Дело не в том, что невозможно, в принципе, пережить появление создания намного умнее нас (это не так). Дело в том, что потребуется филигранная точность, подготовка и новые научные инсайты… Наиболее вероятный сценарий таков: ИИ делает не то, что мы хотим, и его вообще не заботим ни мы, ни даже существование каких-либо разумных форм жизни. В принципе, такую заботу можно было бы заложить в ИИ, но мы пока не знаем, как это сделать, мы не готовы. Без такой заботы, мы получим сценарий «ИИ не любит тебя и не ненавидит тебя, просто ты сделан из атомов, которые ИИ может использовать для других целей»… Чтобы представить враждебный сверх-ИИ, не нужно визуализировать безжизненного книжного мудреца, который обитает в интернете и рассылает злонамеренные имэйлы. Представьте целую инопланетную цивилизацию, которая мыслит в миллионы раз быстрее человека, изначально обитающую в компьютерах, в мире, другие жители которого непростительно глупы и медленны. Достаточно умный ИИ не будет долго влачить существование внутри компьютеров. Уже сегодня можно отправить имэйл с описанием разных цепочек ДНК в лаборатории, которые по твоему запросу произведут для тебя белки, что позволит ИИ, изначально ограниченному интернет-пространством, произвести собственные искусственные формы жизни или сразу перескочить этот этап и перейти к постбиологическому молекулярному производству. Если кто-то создаст сверхмощный ИИ, в текущих условиях я ожидаю того, что каждый человек и все биологические формы жизни на Земле вскоре умрут. Не существует никакого предлагаемого плана действий и плана нашего выживания на этот случай. OpenAI открыто предлагает заставить какой-нибудь ИИ будущего составить этот план вместо нас. Как только вы слышите, что это и есть план, этого уже достаточная причина начать паниковать для любого разумного человека. У другой ведущей лаборатории ИИ, DeepMind, вообще нет никакого плана». Дальше Юдковский описывает свои предложения по глобальному ограничению разработок в сфере ИИ, но они, конечно, слишком радикальны, и никто его опять не послушает. Поводов для оптимизма немного. Если хотите, чтобы я сделал ролик в продолжение темы, поставьте любой эмодзи под этим постом! #ИИ_мастрид