Ловушка корреляции: почему мороженое не приводит к утоплениям

Обратите внимание на графики ниже: они демонстрируют любопытную взаимосвязь между объемами реализации мороженого и статистикой утоплений в определенном уголке планеты. Этот и другие забавные примеры ложных взаимосвязей собраны на портале Spurious Correlations.

Если отбросить шутки, в этой публикации мне хотелось бы поделиться личным опытом столкновения с классическим заблуждением «correlation does not imply causation».

Не так давно на службе я изучал временной интервал между созданием новых юридических лиц и их переходом в статус наших заказчиков. По итогам работы коллеги вынесли на общее обсуждение следующую формулировку:

«недавно зарегистрированная компания конвертируется в нашего клиента спустя n месяцев после своего основания»

Меня искренне удивила подобная трактовка моих изысканий, опиравшихся на расчет корреляций и построение регрессионной модели. Подобные выводы противоречат базовым правилам интерпретации корреляции, и в памяти сразу же всплыла аналогия с любителями мороженого и утопающими.

Фактические показатели действительно свидетельствовали о том, что всплеск регистраций коррелирует с расширением клиентской базы спустя n месяцев, причем коэффициент корреляции составлял весомые 0,55. Однако логичный вопрос напрашивался сам собой: раз ситуация обстоит именно так, почему бы маркетологам не перенаправить все ресурсы исключительно на новоиспеченные компании?

Позже, переосмыслив проделанную работу, я осознал, что корень проблемы крылся в методологии, а не в восприятии результатов. Львиная доля анализа сводилась к поиску всевозможных связей, которые незаметно трансформировались из гипотез, требующих проверки, в безусловную основу для дальнейших умозаключений. Иными словами, корреляция перестала быть лишь отправной точкой и превратилась в доказательную базу.

Так я угодил в ловушку correlation does not imply causation. И это при том, что постулат «корреляция не равна причинно-следственной связи» был мне прекрасно знаком. Загвоздка оказалась в ином: в определенный момент поиск ответа на вопрос «влияют ли регистрации на приток покупателей?» незаметно подменился попыткой выяснить, «каким именно образом регистрации влияют на приток покупателей»?

Когда перед исследователем ставится задача «отыскать закономерность», а массив данных долго не дает очевидных ответов, появляется естественный соблас ухватиться за первую попавшуюся правдоподобную гипотезу. Обнаруженная корреляция перестает восприниматься как простой факт: вокруг нее возводится стройная логическая конструкция, подыскиваются подтверждающие примеры и множатся аргументы в пользу уже сформировавшегося мнения.

Спустя время мне удалось рассеять этот «мираж» и выяснить, что параллельный рост регистраций и клиентской базы обусловлен сезонными колебаниями и сопутствующими факторами. При этом клиентами становятся вовсе не те фирмы, которые появились на свет ровно $n$ месяцев назад. Первоначальный вывод оказался полностью ошибочным: коэффициент 0,55 действительно подтверждал наличие статистической связи, но совершенно ничего не говорил о внутренних механизмах этого процесса.

Ниже я подготовил краткую памятку, которая поможет вам избежать подобных ловушек:

1. Сущность корреляции

2. Понятие ковариации

3. Типичные сценарии высокой корреляции

4. Манипулятивные возможности корреляционного анализа

Что такое корреляция

Коэффициент корреляции представляет собой статистический показатель, отражающий тесноту и направленность совместного изменения двух параметров. Ключевое здесь — именно «изменения». Инструмент сопоставляет не абсолютные величины, а синхронность динамики исследуемых показателей.

Давайте взглянем на формулу расчета коэффициента корреляции:

Что такое ковариация

Математическое выражение ковариации на первый взгляд выглядит устрашающе, однако ее базовый смысл предельно прост: если обе переменные имеют склонность отклоняться от собственных средних значений в едином направлении, мы получаем положительную ковариацию. Если же одна величина возрастает относительно среднего, а вторая падает — ковариация принимает отрицательное значение. Визуальное отображение этого принципа приведено ниже.

Корреляция не способна доказывать наличие влияния или служить фундаментом для причинно-следственных выводов (causal inference). Отсюда и берут начало все курьезные случаи ложных интерпретаций. По моему мнению, существует четыре основных сценария, объясняющих параллельное изменение переменных, причем вероятность реализации каждого из них существенно различается.

Сценарии сильной корреляции:

Стоит также учитывать, что решение различных статистических задач требует применения специализированных исследовательских методов и подходов к сбору информации.

Если корреляционный и регрессионный анализы призваны выявлять статистические взаимосвязи, то задачей причинного анализа (causal inference) является оценка реальных эффектов воздействия. Золотым стандартом здесь выступают рандомизированные эксперименты, а при невозможности их проведения задействуются квазиэкспериментальные техники.

Именно смешение этих аналитических плоскостей чаще всего порождает ошибку, известную как «correlation does not imply causation».

Коварный характер корреляции

В 1998 году авторитетное медицинское издание Lancet выпустило материал, авторы которого безапелляционно заявляли о связи комбинированной вакцины против кори, краснухи и паротита (MMR) с возникновением детского аутизма. Публикация спровоцировала масштабную волну антипривиMных настроений и встревожила медицинское сообщество по всему миру.

Проведенные впоследствии масштабные проверки не выявили никакой причинно-следственной связи между прививкой и заболеванием, а в действиях главного автора были обнаружены следы намеренной фальсификации данных в коммерческих интересах — исследование являлось частью маркетинговой стратегии биотехнологического стартапа Carmel Healthcare. Главный изъян работы заключался в том, что авторы выдали простое совпадение двух независимых событий во времени за причинное следствие: характерные симптомы аутизма как раз начинают отчетливо проявляться в том же возрасте, когда детям ставят соответствующую прививку.

Суть манипуляции сводилась к подмене временной закономерности прямой причинностью. Корреляция в чистом виде не способна раскрыть механику воздействия — простого совпадения сроков вакцинации и дебюта симптомов недостаточно для столь громких утверждений.

Главная опасность корреляционного анализа кроется в его способности выступать фундаментом для заведомо несостоятельных изысканий. Подбирая «удобные» взаимосвязи, можно легко обосновать любые желаемые выводы вместо того, чтобы объективно отражать реальное положение дел.

Возвращаясь к бизнес-кейсу

Недобросовестный или поверхностный аналитик вполне мог бы преподнести руководству компании столь заблужденческую концепцию. Проблема здесь кроется не в самом математическом аппарате корреляции, а в философии исследовательской работы: когда аналитика превращается в подгонку фактов под готовую гипотезу вместо стремления ее опровергнуть, она утрачивает ценность как инструмент принятия решений.

Любое качественное исследование должно отталкиваться от вопроса «верна ли моя гипотеза?», а не от задачи «как убедительно доказать правоту моей гипотезы?». В противном случае концепция data-driven превращается в красивую декорацию, а управленческие решения принимаются на основе слепой веры в интерпретации аналитиков.

Для бизнеса цена подобных ошибок может оказаться слишком высокой. Если в основу стратегии закладывается изначально ложное предположение, организация способна годами направлять инвестиции в неэффективные инициативы. Именно поэтому первоочередная обязанность любого специалиста по данным — не подтверждать собственные догадки, а приложить максимум усилий к их опровержению.

 

Источник