Компания Илона Маска OpenAI запустила игру в дебаты, которая обучает нейросети говорить правду или врать для достижения желаемого результата.

Для реализации проекта была использована новая техника глубокого обучения: агенты ИИ ведут между собой дебаты, а человек принимает решение кто прав. Эта технология создана для осуществления наблюдения за действиями нейросетей и существует как демонстрация возможного решения.

Техника дебатов во многом похожа на технику самообучения ИИ для игры в го. Алгоритм правильного ответа представлен в виде дерева, в котором только один из путей ведет к верному решению. В отличие от го, где неопытный игрок не всегда может определить качество совершенного профессионалом хода, в дебатах каждое утверждение должно быть понятно судье. В случае, если вывод, к которому пришли агенты ИИ, слишком сложный для понимания человеком, ему предлагаются упрощенные и развернутые варианты ответа.

Представители OpenAI говорят, что в будущем они хотят создать такую безопасную систему искусственного интеллекта, чтобы человек всегда мог понимать и контролировать решения машин.

Этот подход применим к любым ИИ, так как он упрощает комплексность алгоритмов и выводов, к которым приходят нейросети во время решения поставленной задачи. А контроль и наблюдение за работой нейронных сетей важен для понимания принципов их работы.

https://blog.openai.com/debate/