Джеффри Хинтон — учёный, без которого современного искусственного интеллекта не было бы. Профессор университета Торонто, изобретатель машины Больцмана, лауреат премии Тьюринга. Он проработал 10 лет в Google Brain, но 1 мая объявил о своём уходе — чтобы сосредоточиться на «философской» работе и говорить о рисках ИИ более свободно. Недавно вышло большое интервью в MIT Technology Review, где Хинтон рассказал, почему теперь боится своего творения. Главное из разговора ⤵️ ▪️ О человеке и ИИ Новое поколение больших языковых моделей, особенно GPT-4, выпущенное OpenAI в марте, заставило Хинтона осознать, что ИИ может стать намного умнее, чем он предполагал: «Эти вещи [языковые модели] полностью отличаются от нас. Иногда мне кажется, будто инопланетяне приземлились, а люди ничего не поняли, потому что те очень хорошо говорят по-английски». «В нашем мозге 100 триллионов соединений. Большие языковые модели имеют до полутриллиона, максимум до триллиона. И все же GPT-4 знает в сотни раз больше, чем любой человек. Так что, возможно, у него на самом деле гораздо лучший алгоритм обучения, чем у нас». Если раньше считалось, что человеческий мозг уникален в своей способности усваивать новые идеи, то теперь это не очевидно: «Казалось, люди обладают какой-то магией. Но основание этого аргумента рушится, как только вы берёте одну из этих больших языковых моделей и обучаете её делать что-то новое». ▪️ Об ошибках, которые совершают чат-боты с ИИ ИИ-модели склонны сочинять, выдумывать несуществующие факты, что делает их ненадёжными. Но, по словам Хинтона, это вовсе не ошибка, а очеловечивающая особенность: «Полуправда и неправильно запомненные детали являются отличительными чертами человеческого разговора. Конфабуляция [когнитивная ошибка, при которой пробелы в памяти восполняются ложными воспоминаниями] — это признак человеческой памяти. Эти модели делают то же самое, что и люди. Правда, когда компьютер делает это, мы думаем, что он совершил ошибку. Но когда человек делает то же самое — это то, как он устроен». ▪️ Угрожает ли человечеству ИИ По мнению Хинтона, существует опасность, что искусственный интеллект обгонит по развитию человека: «Я внезапно изменил своё мнение о том, будут ли эти существа более разумными, чем мы. Я думаю, что сейчас они очень близки к этому, и в будущем они будут намного умнее нас». Хинтон обеспокоен, что ИИ может использоваться людьми для манипуляций в принятиях важных решений или для достижения аморальных целей. Другие риски связаны с задачами, которые ИИ способен решать в собственных интересах: «Подцель, которая почти всегда помогает в биологии: получить больше энергии. Так что первое, что может случиться, это то, что роботы скажут: «Давайте получим больше мощностей. Давайте перенаправим всё электричество на мои чипы». Еще одна замечательная подцель — сделать больше копий самого себя. Это звучит хорошо?» Дальнейшие усилия Хинтона будут направлены на работу с технологическими лидерами отрасли, чтобы договориться о рисках ИИ и методах борьбы с ними. Он считает, что международный запрет на химическое оружие может быть одной из моделей сдерживания разработки и использования опасного ИИ.