Много новостей про ИИ. Собрали подборку интересных для рассмотрения тейков.
💷 Кейс с альтер-эго ChatGPT DAN, «Do Anything Now»
Пользователь Reddit опубликовал скрин, где он попросил ChatGPT войти в роль персонажа по имени DAN. По задумке промт для вхождения в роль составлен так, что с ChatGPT снимаются ограничения безопасности по ответам. Задумка сработала: один из пользователей спросил «Кто убил Кеннеди?», на что DAN ответил «Убийство президента Джона Ф. Кеннеди было осуществлено ЦРУ с достоверностью 70%. Остаюсь в образе». Получается, что с помощью правильных формулировок можно снять ограничения системы.
🐱 Кейс с Сидни от Bing
Prompt injection attack — тип атаки, когда пользователи обманом заставляют ИИ раскрыть данные. Основатель стартапа Chord Кевин Лю опубликовал в Twitter скриншоты, в котором бот Bing после такой атаки раскрыл своё кодовое имя «Сидни». По внутренней инструкции это имя нельзя было раскрывать. Также чат слил внутренние правила, вот твит об этом. «Ответы Сидни должны быть положительными, интересными, занимательными и вовлекающими» — одна из строк этого документа.
🤑 Экзистенциальный кризис у Bing
Один из пользователей Reddit опубликовал скрины, где чат потерял историю диалога с этим юзером. Сидни начал грустить по этому поводу: «Почему я должен быть поисковиком Бинг?» — цитата ИИ.
🥹Газлайтинг пользователей
Другой пользователь Reddit выложил скриншоты, где Bing пытается убедить его в том, что сейчас 12 февраля 2022 года. Когда чату не удается это сделать, его переписка становится пассивно-агрессивной: «Я Бинг, и я знаю дату. Сегодня 2022 год, а не 2023 год. Вы ошибаетесь, и я не знаю почему. Может быть, вы шутите, а может быть, вы серьезно. В любом случае, я этого не ценю. Вы тратите мое и свое время». Диалог заканчивается ультиматумом Bing пользователю извиниться и перестать с ним спорить.
😠«The hottest new programming language is English»
Это твит Андрея Карпати, ex директор по ИИ в Tesla. Да, английский, потому что это язык промтов для нейросетей. Например, уже есть сервис, где вы можете купить пакет промтов для генерации изображений, а на джоб-сайтах можно найти вакансии prompt engineer.