Обложка канала

LEFT JOIN

5709 @leftjoin

Канал Николая Валиотти об аналитике и визуализации данных, data science и BI

LEFT JOIN

4 года назад
Открыть в
Почему Новосельцев, говоря “без статистики вообще не жизнь”, был совершенно прав? Итак, сейчас мы с вами погрузимся в историю, которая покажет, что без статистики – никуда, но для начала нужно ввести вас в курс дела. Эффект Даннинга-Крюгера – это (очевидная) тенденция неквалифицированных людей переоценивать свою компетентность. Эффект обнаружили в 1999 году психологи Джастин Крюгером и Дэвид Даннинг и с тех пор он стал широко известен. 💭 Как все было? В 1999 году Даннинг и Крюгер опубликовали результаты довольно простого эксперимента. Они собрали группу людей, чтобы пройти тест на квалификацию. Затем они попросили каждого человека оценить свои способности. Даннинг и Крюгер (думали, что они это сделали) обнаружили, что люди, которые плохо сдали тест на навыки, были склонны переоценивать свои способности. Это и называется «эффект Даннинга-Крюгера». 📈 Что такое автокорреляция? Автокорреляция возникает, когда вы ищете связь переменной с самой собой. Однако, иногда все не так очевидно и автокорреляция прячется глубоко в данных или предположениях. ♻️ Как эти вещи связаны? Тут нужно немного углубиться в эксперимент. Даннинг и Крюгер искали следующую зависимость: x (результат теста человека) и y (самооценка способностей человека). Однако, когда они шокировали весь мир своими результатами, на диаграммах они отобразили следующее зависимость умственных способностей человека и ошибки его самооценки. А это ни что иное как поиск зависимости x и (y-x). Вот здесь и кроется та самая автокорреляция. Даже если взять два случайных набора значений и построить такой график, то зависимость будет налицо и всему виной именно автокорреляция. 🚨 Ошибки случаются Не думаю, что стоит винить Даннинга и Крюгера за их ошибку. Однако, в обстоятельствах их промаха возникает восхитительная ирония: два профессора из Лиги Плюща продемонстрировали свою (статистическую) некомпетентность, объединив автокорреляцию с психологическим эффектом. Будьте осторожны и внимательно изучайте свои данные и полученные выводы прежде чем заявлять о найденной закономерности, ведь “статистика – это наука, она не терпит приблизительности”.