Как генеративные модели (ChatGPT-подобные) могут быть использованы для анализа качества страницы?
На Search Engine Land разобрали гугловскую публикацию 2020 года с темой "Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study".
Если в двух словах, то обнаружение машинного авторства (сгенерированного текста) может быть мощным прокси для оценки качества текста.
Для эксперимента авторы использовали:
- 3 датасета:
-- Web500M (случайная выборка из корпуса в 500 миллионов англоязычных веб-страниц, полученных из commoncrawl org)
-- 250 тыс. генераций текста GPT-2
-- Grover-Output: 1,2 млн сгенерированных статей с использованием предварительно обученной модели Grover-Base, которая была разработана для выявления фейковых новостей
- детекторы:
-- детектор GPT-2 на основе RoBERTa от OpenAI
-- модель GLTR
-- The Spam Baseline - классификатор, обученный на датасете Enron Spam Email Dataset для определения вероятности, является ли документ спамом.
На скриншотах постом выше:
1) Относительная оценок детектора OpenAI по разным темам.
Для адалта картина не вызывает вопросов, а в "Литературу" просто попали фермы эссе, в "Здоровье" - всякая виагра :)
2) Облако слов из Web500M для различных диапазонов оценок детектора OpenAI
3) Доля документов с оценками детектора OpenAI в разных диапазонах в зависимости от длины
Контент низкого качества, как правило, короче и достигает пика в 3000 символов.
Авторы наблюдают всплеск доли низкокачественных документов в начале 2019 года. Одно из объяснений - зрелость технологий для быстрой генерации реалистичных текстов.
Выводы в оригинальном исследовании:
"В статье утверждается, что детекторы, обученные различать текст, написанный человеком и AI-текст, являются эффективными предикторами языкового качества веб-страниц. Они превосходят базовый уровень классификатора спама. Мы подтверждаем это с помощью тщательной человеческой проверки.
Мы заметили интересные тематические и временные закономерности в низкокачественном контенте и обнаружили, что многие правонарушители ("offenders" в оригинале) являются либо 1) машинным переводом текста 2) фермами эссе 3) SEO-текстами ("attempts at search engine optimization" в оригинале) 4) NSFW, т.е. взрослый контент."
