Порция страшилок и "непопулярных мнений" про этот ваш Generative AI.
1. Никакого (самосознающего в антропоморфном смысле) AGI нет сейчас и в обозримом будущем, а если и будет... Вполне вероятно, что эта штука, будь она создана, будет выходить за понятные нам сегодня формы интеллекта и жизни. Так что мы не успеем понять, что произошло и будет как в Mass Effect. Муахахах. Шучу. На самом деле, мы переоцениваем степень и скорость проникновения технологий в человеческое общество. Поэтому странно обсуждать, как там ИИ заменит 300 млн. человек, когда добрая часть людей, как говорится, до сих пор ходит в туалет в дырку в полу. И все мы помним, как нам обещали, что еще чуть-чуть и дальнобойщики в США все потеряют работу, а по федеральным трассам будут разъезжать грузовики Tesla.
2. Тем не менее, проблемка с LLM есть: мы не знаем глобальных параметров оптимизации. Вот в случае с рекомендательными алгоритмами социальных сетей мы точно знали, что соцсети "хакают" человеческую психологию в пользу повышения времени смотрения. Чем лучше контент нас завлекает, чем чаще нам его будет предлагать алгоритм. Ну и последствия сегодня мы тоже более-менее представляем: поляризация общества через усиление крайних эмоционально-емких сообщений, рост суицидов у молодежи и т.п. А под какую задачу оптимизируются LLM глобально мы не знаем. Но страшно, что, вероятно, и сами разработчики не знают, что на самом деле означает эта их "точность ответа". Интуитивно кажется, что она оптимизируется в сторону "быть незаменимым помощником человека" и "идеальным собеседником".