​​Почему машинист должен срочно нажать красную кнопку. Меморандум, разъясняющий ситуацию для пассажиров поезда. Медийный скандал вокруг открытого письма, призывающего на время приостановить эксперименты со все более мощными ИИ-системами напоминает кухонную склоку алармистов и технооптимистов. В ход у обеих сторон, в основном, идет аргументация ad hominem. Вместо обсуждения по существу, следуют: персональные наезды на наиболее медийно раскрученных представителей противной стороны; обвинения их, якобы, корыстных интересов; а также лозунги о неостановимости прогресса (с одной стороны) и о неотвратимости скорого вымирания всего человечества (с другой). Такой характер аргументации в дискуссии и нарастающая экзальтация сторон вполне понятны. Ибо фактических аргументов у обеих сторон нет. Известно лишь следующее: 1) Скорость прогресса ИИ технологий резко скакнула всего за пару месяцев в результате «ChatGPT революции». 2) В ИИ-системах на основе больших языковых моделей исследователи фиксируют появление непредусмотренных и даже непредвиденных разработчиками способностей, объяснить которые пока никто не может. 3) Размер «навеса» из таких способностей нам пока неизвестен, и скорее всего, они будут постепенно проявляться в ближайшие месяцы. 4) Чисто теоретически можно предположить, что среди этих способностей могут оказаться такие «умения», допустить утечку которых с попаданием в руки злоумышленников было бы абсолютно безответственно. Первые 3 пункта – установленные факты. Пункт 4 оценочный. Экспертная оценка вероятности наихудшего развития событий (вплоть до гибели земной цивилизации) в случае материализации этого пункта составляет среди специалистов примерно 17%. Наиболее близкой метафорой сложившейся ситуации может быть скоростной поезд из сценария фильма о катастрофе. А) Скорость поезда вдруг резко скакнула вверх и продолжает увеличиваться. Б) У специалистов нет единого мнения ни о причинах этого скачка скорости, ни о том, насколько быстро будет увеличиваться скорость в дальнейшем (ибо рост скорости происходит не в результате целенаправленных действий машиниста, а как бы сам по себе). В) Никаких надежных данных о том, как поведут себя конструктивные узлы поезда на непредусмотренных при проектировании скоростях, нет. В описанной ситуации единственно разумным шагом видится нажатие машинистом красной кнопки немедленного торможения. Цель этого двояка: • Предотвратить возрастание рисков катастрофы при неуправляемом увеличении скорости. • Получение времени на исследование причин произошедшего и анализ вариантов возобновления движения при нахождении надежных мер безопасности. Кто-то сочтет такое решение алармистским? Если таковые найдутся, я готов встретиться с ними в открытой дискуссии, дабы прояснить для себя и общественности их позицию, которая сейчас видится мне, по меньшей мере, странной и необоснованной. А пока констатирую, что именно эти две цели названы в открытом письме о необходимости приостановки обучения больших моделей на 6 мес. Цели вполне оправданные, ответственные и (простите за пафос, но здесь он, имхо, уместен) благородные по отношению ко всем пассажирам поезда – всей земной цивилизации. #LLM #Вызовы21века #РискиИИ