Около года назад (ещё до релиза ChatGPT — тогда топовой нейросетью была GPT-3) я делился программным текстом Юдковского под названием AGI Ruin, пришло время напомнить о нём. Это огромный мастрид, в котором автор суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы. Текст написан непростым языком, много технических деталей. Но, думаю, его будет полезно прочесть всем. Особенно тем, кто пишет критические комментарии под моими роликами на тему о том, что это всё выдумки и что серьёзных аргументов нет. Кстати, днях Юдковский пришел на подкаст к Лексу Фридману (мой любимый англоязычный подкастер, рекомендую). Лекс тоже эксперт по ИИ, поэтому любопытно было посмотреть на их трёхчасовой диалог по теме, рекомендую: https://youtu.be/AaTRHFaaPG8. Надеюсь, у меня тоже получится сделать выпуск с Элиезером. #ИИ_мастрид