Тем временем, глядя на выдающиеся успехи крупных нейросетей, которые не так давно даже сложно было представить (если что, года четыре назад автоматическая генерация текстов считалась чем-то фантастическим), представители научного сообщества и примкнувший к ним Илон Маск забили тревогу: во-первых, темпы прогресса стали совсем сумасшедшими, грядёт сингулярность, а человечество не готово; во-вторых, следующее поколение нейросетей, GPT-5 и прочие, может превзойти человеческие способности, что открывает совершенно невообразимые возможности, как приятного, так и совсем неприятного плана. Поэтому они в открытом письме потребовали мораторий на исследования в области нейросетей на полгода (полагая, наверное, что через полгода его как санкции можно будет продлить ещё на полгода и далее, пока ситуация с кремниевым мозгом не прояснится). Масла в огонь подлил известный в узких кругах… философ? прикладной эсхатолог? исследователь? автор статей, текстов и постов? — Элайзер Юдковски, давно и долго работающий над вопросом, как заставить гипотетический сверхинтеллект дружить с кожаными мешками. Юдковски открытое письмо не подписал, потому что оно показалось ему недостаточно радикальным. С его точки зрения, сверхинтеллект будет создан вот-вот, и надо остановить прогресс в вычислительных системах сейчас и максимально радикально, вплоть до ограничения вычислительной мощности на гражданина. Иначе — гроб, гроб, кладбище, василиск и неизбежное превращение всего на Земле в скрепки. В качестве допустимых мер по недопущению ИИ-апокалипсиса Юдковски предлагает идти вплоть до уничтожения лишних вычислительных центров военной силой. На вопрос, не будет ли это существенным риском настоящей военной конфронтации, со вспышками и прочими спецэффектами, Юдковски полагает, что допустимо оставить на Земле "достаточно выживших и источники питания, чтобы сформировать популяцию, способную к воспроизводству". Что, мягко говоря, заставляет сомневаться, будет ли так называемый "дружественный ИИ" по версии Юдковски сколь-нибудь совместим с имеющейся человеческой цивилизацией. (К слову, в этом, на наш взгляд, и состоит существенная часть проблемы "доказать невраждебность кремниевого мозга".) Современному человеку, видимо, важно иметь выбор не только в материальных продуктах, но и в эсхатологических страхах. Если раньше карающая длань ветхозаветного Бога вполне справлялась со спросом, то теперь на выбор предлагаются ИИ-апокалипсис, катастрофическое изменение климата и, наконец, для старожилов вроде нас, ядерная война.