​​С ИИ происходит что-то странное и потенциально крайне опасное. Эксперты перестали моделировать ситуацию в области ИИ. Еще древние ассирийцы полагали: «Если двое говорят, что ты пьян, - ложись спать». Если к тому же эти двое – признанные эксперты в области, о которой идет речь, и оба они бьют тревогу, - то, определенно, стоит к ним прислушаться. Макс Тегмарк и Джек Кларк – эксперты-тяжеловесы в области ИИ. И оба, не сговариваясь, бьют тревогу из-за того, что за последний год в развитии ИИ произошел некий тревожный перелом: • ИИ начал прогрессировать непредсказуемыми темпами; • специалисты перестали понимать, куда это может привести даже в самом ближайшем будущем. На этой неделе Макс Тегмарк почти 3 часа говорил об этом в подкасте «80,000 Hours» (1). Лейтмотив рассказа таков. «Честно говоря, сценарий, в котором мы сейчас живем, мне видится наихудшим. Это тот сценарий, который, как я надеялся, не произойдет. Я надеялся совсем на другой сценарий, - что развитие ИИ до нынешнего уровня будет куда труднее, и это займет куда больше времени. А у нас, соответственно, будет куда больше времени, чтобы заняться безопасностью ИИ». Макс приводит простой пример. Всего 7 лет назад практически никто из экспертов не мог вообразить, что в 2022 ИИ будет в состоянии правильно ответить на такой вопрос: «Я собираюсь пойти на гору с лицами на ней. Какая столица штата к востоку от того штата, в котором она находится?» А сегодня каждый из нас может: 1. Спросить у смартфона с поисковиком: «гора с лицами», и получить ответ «гора Рашмор» 2. Спросить – «гора Рашмор штат», и услышать «Южная Дакота» 3. Спросить – «штат на востоке от Южная Дакота», и услышать «Миннесота» 4. Спросить – «столица Миннесота», и услышать «Сент-Пол» Но это, увы, далеко не весь прогресс. ИИ уровня GPT-3 не надо задавать эти 4 (и вообще, какие либо) наводящие вопросы. Ибо ИИ, услыхав вопрос «Я собираюсь пойти …», сразу даст ответ «Сент-Пол». Кто-то скажет, - это не понимание, а статистика. И будет прав. Но если прогресс продолжится с той же скоростью, на что будут способна такая статистика уже через пару лет? И об этом на неделе Джек Кларк говорил на рабочей группе National Academy по ИИ (слушания закрытые, но вот слайды (2)). Смотрите на картинку А к этому посту – наши оценочные тесты способностей ИИ уже не годятся, или ИИ уже вышел за пределы ожиданий?. Показана динамика 6-и популярных бенчмарков, нормализованных от -1 (начальный показатель бенчмарка) до 1 (уровень человека-эксперта) Теперь картинка B – мы не может предсказать способность ИИ даже на год вперед. Показан прогноз прогнозистов Hypermind (июнь 2021) способностей ИИ на 30 июня 2022, 2023, 2024 и 2025 по 4 тестам: • MATH — решение математических задач • MMLU — тест на знание специальных предметов с использованием экзаменов средней школы, колледжа и профессиональных экзаменов с множественным выбором • Something Something v2 — распознавания видео • Надежная точность CIFAR-10 — мера надежной защиты от злоумышленников. Зеленый пунктир — уровень человека-эксперта. А теперь приз в студию: синяя и желтая точки, расположенные выше прогнозных показателей 2022, это уже не прогноз, а факт. Джек спрашивает: — Что здесь происходит? — Какие силы движут этим? — Что означает сочетание плохих тестов и плохих прогнозов для будущего? — В каких других областях науки прогресс неоднократно превосходил ожидания? — Где будут эти точки по факту в 2025? Нет ответов. И это потенциально крайне опасно. #ИИ 1 2