Обложка канала

Анча Баранова, профессор

Доктор биологических наук, профессор Анча Баранова с юмором рассказывает новости медицины из США и Европы

Анча Баранова, профессор

3 года назад
Открыть в
Ученые из Чикаго скормили ChatGPT 50 абстрактов (это такая «выжимка» — самое главное из статьи) - по 10 из каждого из пяти медицинских журналов с высоким импакт-фактором, и попросили написать побольше таких же абстрактов, «затачивая» их под конкретный журнал🤓 Результаты труда АДСКОЙ ПРОГРАММУЛИНЫ оценили с помощью 🔸 детектора работы искусственного интеллекта (ИИ), 🔸 детектора плагиата, 🔸 а также попросили живых ученых-рецензентов отличить, «реальное» ли это исследование, или его АДСКАЯ ПРОГРАММУЛИНА на пустом месте из своего электронного пальца высосала. Итого: 1️⃣ в формат журналов ChatGPT не попал. 92% абстрактов не соответствовали формальным требованиям журнала. Но не радуйтесь раньше времени, товарищи, это просто поправить, надо всего лишь модуль проверки формативания прикрутить; 2️⃣ детектор работы #ИИ свою работу знает туго, и АДСКУЮ ПРОГРАММУЛИНУ на чистую воду выводит почти безошибочно; 3️⃣антиплагиатор бессилен. Работа ИИ — НЕ ПЛАГИАТ. Все тексты АДСКОЙ ПРОГРАММУЛИНЫ признаны оригинальными; 4️⃣сгенерированные абстракты имели те же размеры когорт пациентов, что и исходные рефераты, но цифры АДСКАЯ ПРОГРАММУЛИНА подогнала, чтоб избегнуть плагиата; 5️⃣ люди с выведением ПРОГРАММУЛИНЫ на чистую воду не справились. Хотя старались. 14% печатных продуктов вполне человеческого труда были неверно помечены как машинные подделки. Рецензенты указали, что провести различие между ними было на удивление трудно, но сгенерированные казались «более расплывчатыми», как бы «шаблонными». Будут ли ученые использовать ChatGPT для написания научных статей? Стопудово будут. Ученые тоже ленивые😀 На входе в журналы надо срочно прикручивать фильтры на детекцию труда АДСКИХ ПРОГРАММУЛИН… А-А-А-А-А..... КОРЧЕВАТЕЛЬ НАНОСИТ ОТВЕТНЫЙ УДАР. А вы уже общались с #ChatGPT? https://tinyurl.com/3u8khsx3
Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers

Background Large language models such as ChatGPT can produce increasingly realistic text, with unknown information on the accuracy and integrity of using these models in scientific writing. Methods We gathered ten research abstracts from five high impact factor medical journals (n=50) and asked ChatGPT to generate research abstracts based on their titles and journals. We evaluated the abstracts using an artificial intelligence (AI) output detector, plagiarism detector, and had blinded human reviewers try to distinguish whether abstracts were original or generated. Results All ChatGPT-generated abstracts were written clearly but only 8% correctly followed the specific journal’s formatting requirements. Most generated abstracts were detected using the AI output detector, with scores (higher meaning more likely to be generated) of median [interquartile range] of 99.98% [12.73, 99.98] compared with very low probability of AI-generated output in the original abstracts of 0.02% [0.02, 0.09]. The AUROC of the AI output…

bioRxiv