Элиезер Юдковский (философ и специалист по искусственному интеллекту), популяризатор теории "дружелюбного искина" (Friendly Artificial Intelligence, FAI) написал статью в журнал Time, в которой призвал не только приостановить разработку ИИ общего назначения (AGI), но и вообще запретить его создание. Юдковский вам может быть известен по сайту lesswrong (форумы и блогеры-рационалисты) и по фанфику, который он написал в шутку "Гарри Поттер и методы рационального мышления". Элиезер ссылается на вчерашнее открытое письмо, в котором ученые призывали к 6-месячному мораторию на подготовку ИИ более мощного, чем GPT-4. За это время рекомендуется выработать стандарты работы отрасли и сделать искина безопасным для человечества. Юдковский пишет, что воздержался от подписания письма и считает, что оно преуменьшает серьёзность ситуации. Ключевой проблемой является не конкурирующий с разумом человека ИИ, а ИИ, превосходящий его. Собственно, любая лаборатория может просто напросто не заметить, когда она пересечёт границу от "умного" к "очень умному" до "сверхумному" ИИ. По мнению Юдковского, как только ИИ пересекает эту грань, человечество уничтожается. И это не "может быть уничтожит, а может быть и нет", по его мнению, это стопроцентно произойдет. Второй проблемой является то, что даже если мы бы хотели встроить в ИИ некоторые возможности для его отключения или предотвращения того, что он станет сверхразумным, мы не можем это сделать. Юдковский приводит пример современных нейросетей. Мы знаем как они работают, но понятия не имеем, что нейросеть делает в процессе работы. Так что в настоящее время мы просто не знаем как это сделать. При этом, "злой ИИ" способен достаточно быстро выбраться из своей электронной клетки, например, в современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по вашему требованию, позволяя ИИ, изначально ограниченному лишь Интернетом, создавать искусственные формы жизни или же сразу переходить к постбиологическому молекулярному производству. Элиезер согласен с тем, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании. Но он отмечает, что, учитывая то, как мало мы понимаем внутренности этих систем, мы на самом деле этого не знаем, а лишь предполагаем. Ученые, по мнению Юдковского, также понятия не имеют, что они делают. Решение проблемы создания ИИ - это полдела, а вот создание безопасного ИИ может занять во много раз больше времени. "Если бы мы придерживались в области ИИ стандартов инженерной строгости, которые применяются, например, к мосту, то вся область была бы закрыта завтра. Она совершенно не безопасна". Корит Элиезер и компании, которые занимаются разработкой ИИ - у них, по его мнению, просто нет плана. Обучения моделей идёт ради обучения моделей и желания обогнать конкурента. Планов нет, а значит нет и осознания собственных ошибок. "Если бы существовал план выживания населения Земли, если бы только мы приняли тот шестимесячный мораторий, то я бы поддержал этот план. Но такого плана нет". По мнению Юдковского, единственное, что можно было бы сделать это ввести мораторий на все крупные запуски ИИ. Запрет должен быть всемирным и бессрочным, исключений быть не может, в том числе и для стран и для военных. Необходимо отключить все большие кластеры GPU для обучения самых мощных ИИ. Нужно заключить мировые соглашения, чтобы предотвратить распространение ИИ. GPU необходимо маркировать и не продавать в страны, которые не захотят вступить в это соглашение. Если разведка сообщает, что какая-то страна купила кластер GPU, то её надо разбомбить, не опасаясь конфликта между нациями. Во имя всего человечества. Юдковский считает, что любой человеческий конфликт меркнет перед тем, что превосходящий ИИ уничтожит нас всех. В конце своего письма он просит отключить ИИ уже сейчас. @zavtracast