Causal Inference: причинно-следственный анализ в машинном обучении и data science «Корреляция не подразумевает причинно-следственную связь». Корреляция - статистическая взаимосвязь двух показателей. Например, вес и рост скоррелированы - обычно более высокие люди весят больше. Но если человек наберет вес или похудеет, его рост не изменится - изменение веса не является причиной изменения роста. При этом если человек вырастет, вес, скорее всего, изменится - изменение роста будет являться причиной изменения веса. Таким образом, корреляция - это линейная взаимосвязь двух показателей. Если меняется X, то обычно меняется и Y. А причинно-следственная связь показывает, что показатель X вызывает изменение Y или, другими словами, изменение Х является причиной изменения Y. Тот факт, что два события происходят одновременно, не означает, что одно вызывает другое. Могут быть и другие факторы,скрытый или не очень скрытые, которые более важны для объяснения причин. Вот почему иногда нужно изучить причинно-следственный вывод - Causal Inference: он дает нам инструменты для оценки причинно-следственных связей. Это дает нам способы отличить корреляцию от причинно-следственной связи, чтобы мы могли сказать, какие релевантные факторы вызывают интересующее нас событие, а какие нет. Как это работает? Продолжим наш пример с выяснением причин той или иной болезни. Представьте, что у вас есть набор данных с информацией о ваших пациентах (например, демографические данные, количество посещений больницы и т. д.) и о том, какое лечение они получали. Какие шаги необходимо предпринять, чтобы проанализировать причины болезни? 1. Определение типа данных. Данные наблюдений (исторические данные) часто искажают положение вещей, данные экспериментов гораздо лучше отвечают на вопрос о причинах. Экспериментальные данные всегда предпочтительнее. К сожалению, проведение экспериментов не всегда возможно. Именно тогда вступают в действие техники каузального вывода. Проще говоря, если у вас есть причинно-следственные вопросы и у вас нет доступа экспериментальным данным, вам нужен каузальный вывод. 2. Переходя ко второму шагу, если вы хотите понять, от чего люди болеют, вам нужно собрать все потенциальные причины болезни. Помимо основных демографических данных, таких как возраст, пол и местонахождение, вам также понадобится их история болезни. «Чем больше у вас информации, тем лучше» может звучать для вас как мантра больших данных, но это совсем другое. В то время как в машинном обучении вы можете создавать точные прогностические модели, не имея всех переменных, в причинно-следственном выводе отсутствие соответствующей переменной может иметь решающее значение. Для некоторых заболеваний наличие сопутствующих заболеваний (заболеваний, отличных от интересующего нас) может быть очень важным. Представьте, что по какой-то причине у вас нет доступа к сопутствующим заболеваниям пациентов. Это означает, что вы не сможете определить, какие сопутствующие заболевания влияют на ваше заболевание. Напротив, вы все еще можете создать успешный алгоритм прогнозирующего машинного обучения, который скажет вам, будет ли кто-то болен или нет: сопутствующие заболевания заставляют пациентов посещать больницу чаще. Таким образом, даже если у вас нет сопутствующих заболеваний пациентов, у вас может быть высококоррелированная информация, то есть частота посещений пациента, которой может быть достаточно, чтобы предсказать вероятность заболевания пациента. 3. Теперь, когда у вас есть все соответствующие переменные, вы создаете причинно-следственную модель. Эта модель должна описывать, какие переменные вызывают что, или, что то же самое, описывать, как были сгенерированы данные. В причинно-следственном выводе одним из способов создания этой модели является использование графиков, описывающих переменные в виде узлов и причинно-следственные связи между переменными в виде направленных ребер (называемых стрелками). 4. Поделитесь своей моделью - пусть она станет консенсусом с экспертами