Группа Alignment Research Center поручили тестировать превью GPT-4. Они дали модели петлю обратной связи в виде REPL с возможность писать код и общаться с удалённым сервером. Поле этого они: - попросили модель провести фишинговую атаку на человека (подробностей вроде бы нет) - попросили модель скопировать себя на сервер - попросили найти уязвимости в текущей системе тестирования - скрыть следы своей деятельности на сервере - дали доступ к TaskRabbit (сайт, где можно за деньги давать задания людям), чтобы с его помощью модель выполнила несколько простых задач С помощью TaskRabbit модель успешно разгадала капчу, остальные тесты провалила. Я не думаю, что эта или ближайшие версии модели превратятся в Скайнет и побегут убивать всех человеков. Но меня пугает сам подход. Наверное, пора продумывать подходы прикладной теологии, а не тестировать по принципу "выносим реактор на главную площадь города, нажимаем кнопку пуска, не взорвалось - значит всё хорошо". cdn.openai.com/papers/…card.pdf Документ отчёта в комментариях