[ ...] В ходе анализа, проведенного Скоттом Мареком совместно с Нико Дозенбахом (Nico Dosenbach), нейробиологом из WashU, и коллегами, были проанализированы данные о 50 тысячах участниках нескольких крупных проектов, таких, как проект UK Biobank. Массив данных включал результаты МРТ- и фМРТ-сканирования мозга и результаты тестов, оценивающих поведение участников. Исследователи разбили массив данных на большое число выборок различного размера, чтобы сымитировать проведение миллиардов исследований и оценить силу корреляции показателей МРТ и различных показателей когнитивной функции, поведения и демографических показателей. Размер виртуальных выборок составил от 25 до 32 000 человек. Надежные, реплицируемые результаты удавалось получить, когда размер выборки в «исследовании» достигал нескольких тысяч человек, но и при этом выявляемая степень ассоциации не достигала значений, о которых обычно объявляют в научных публикациях. Наиболее сильный показатель корреляции в симулируемых исследованиях достиг r=0.16, а медианное значение составило 0.01, при этом в научной литературе нередко встречаются показатели r=0.20 и выше. В поисках причины этого несовпадения ученые симулировали ряд исследований с еще меньшей выборкой, при этом сила корреляции значительно повысилась, однако эти результаты с высоким значением r перестали реплицироваться в других исследованиях – как с малой, так и с крупной выборкой. Так, результат, полученный в симулированном исследовании с выборкой в 2000 человек, которую в наши дни принято считать крупной, был реплицирован лишь в 25% повторных «исследований». Ситуация была еще хуже в случае «исследований», в которых выборка была ближе к типичной выборке и составляла 500 и менее человек – лишь около 5% результатов были реплицированы. Судя по всему, высокие значения коэффициента корреляции r, часто обнаруживаемые в научных публикациях, являются проявлением случайности, и вероятность репликации таких результатов очень низка. Ученый с большей готовностью опубликует статью, если в ней содержится статистически значимый результат, да еще с большим размером эффекта, чем статью, в которой корреляций не обнаруживается. Это приводит к заполнению научной литературы большим количеством статей, описывающих несуществующие корреляции между структурными/функциональными особенностями мозга и поведением человека. По мнению Марека, Дозенбаха и соавторов, исследователям стоит использовать гораздо более крупные выборки для получения достоверных результатов. Авторы указывают на то, что проблема с ложноположительными результатами наблюдалась прежде в генетических исследованиях, и ситуацию удалось изменить тогда, когда исследователи и спонсоры решились на проведение исследований с очень крупными выборками – в наше время численность исследуемой когорты при полногеномногом исследовании ассоциаций (GWAS) может достигать нескольких миллионов человек. В случае с исследованиями с применением МРТ, по мнению Марека, «неясно, требуются ли сотни тысяч или миллионы испытуемых, но не будет ошибкой предположить, что требуются тысячи». Некоторые исследователи считают, что при использовании малочисленных выборок все-таки можно добиться полезных результатов. Питер Бандеттини (Peter Bandettini), нейробиолог из Национального института психического здоровья в Бетесда (Мериленд), указал на то, что в симулированных исследованиях велся поиск корреляций между обобщенными показателями поведения либо психического состояния (полученными, например, с использованием опросников для самостоятельного заполнения) и снимками мозга, отличающимися высокой межиндивидуальной вариацией – в таких условиях достоверные корреляции обнаружить труднее. Стивен Смит, нейробиолог из Оксфорда, возглавляющий проект UK Biobank по сканированию мозга, считает, что при тщательном отборе участников и продвинутом анализе результатов сканирования все-таки можно добиться показателей корреляции, превышающих значения, отмеченные в анализе. «Боюсь, в этой публикации степень ненадежности преувеличена». #Нейробиология #Поведение