На днях из Google уволили инженера, который в процессе работы с чат-ботом LaMDA пришёл к выводу, что эта программа осознала себя и обладает собственной личностью. Наверное, этот сотрудник просто страдает от повышенной впечатлительности и это ложная тревога. Но рано или поздно может настать момент, когда тревога окажется не ложной. И что тогда? Элиезер Юдковский – крупнейший в мире эксперт по безопасности ИИ, основатель Machine Intelligence Research Institute и по совместительству икона рационалистов и автор культовой книги «Гарри Поттер и методы рационального мышления». Недавно Юдковский опубликовал огромный мастрид, в котором суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы. Текст тяжело читается, в нём много технического жаргона. Если вы не знакомы с этой проблемой, советую для первоначального погружения культовый мастрид от Тима Урбана с обоснованием позиций по этому вопросу. Первая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html. Вторая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html. Перевод на русский: interpreted.dirty.ru/perevod-revoliutsiia-iskusstvennogo-intellekta-684922. Текст Урбана был написан в 2015 году, но сегодня стал особенно актуальным. Главный вывод Юдковского максимально пессимистичен: пока непохоже, что человечество переживёт появление искусственного сверхинтеллекта. Корпорации, занимающиеся разработками ИИ, слишком безответственно относятся к теме (один из главных кандидатов на уничтожение мира по версии Юдковского – подразделение Facebook AI Research). Юдковский уже лет 20 остаётся главным в мире экспертом в этой сфере и (по крайней мере, по его версии) ни один другой исследователь за эти годы так и не смог предложить ни внятных аргументов против реализации его грустных прогнозов, ни чёткого плана по минимизации рисков развития сверхинтеллекта. В своих подкастах я часто задавал экспертам по технологиям вопросы про эти риски и, увы, тоже пока не ощутил, что мы движемся по верной траектории, что мы подумали обо всех рисках и что ИИ станет своего рода всеведущим добрым и мудрым богом, ведущим человечество в светлое будущее. Создание ИИ вполне может стать самым важным изобретением в истории человечества – но, увы, вполне может стать и последним. #тренд_мастрид #ИИ_мастрид #рационалист_мастрид