Применять статистику неправильно хуже, чем не применять вовсе — можно уверенно прийти к ложному выводу. Вот главные грабли, на которые наступают все новички (и не только). У каждой — как избежать и куда нырнуть глубже.
Корреляция ≠ причинность
ловушка №1
Две вещи движутся вместе — не значит, что одна вызывает другую. Виноват может быть третий фактор или совпадение. Причинность доказывает только эксперимент с рандомизацией.
Классический механизм — confounder (общая причина): продажи мороженого и утопления растут вместе, но виновата жара, а не мороженое. Иногда это чистое совпадение при переборе тысяч рядов. Прежде чем говорить «влияет», спроси: что ещё меняется одновременно? Можно ли поставить эксперимент (A/B), где ты сам меняешь только один фактор?
Неверное чтение p-value
ловушка
p-value — не «вероятность, что гипотеза верна» и не «шанс, что это случайность». Это вероятность такого (или более крайнего) результата, если эффекта нет. Путаница здесь — источник большинства ложных заявлений.
Как избежать: проговаривай правильную формулировку вслух, пока не станет автоматом.
Маленький p говорит только: «если бы эффекта не было, такие данные были бы редки». Он не измеряет размер эффекта и не гарантирует, что гипотеза верна. p=0.04 при кривом дизайне ничего не стоит. Всегда смотри его вместе с размером эффекта и доверительным интервалом.
p-hacking и мультитесты
ловушка
Проверишь 20 гипотез при пороге 0.05 — в среднем одна «выстрелит» случайно. Перебирать метрики, пока что-то не станет «значимым», — это самообман.
Как избежать: фиксируй гипотезу заранее; при множестве тестов делай поправку (Бонферрони и т.п.).
Каждый тест — лотерейный билет: 5% шанс ложного срабатывания. 20 билетов — уже ~64% шанс хотя бы одного «значимого» результата из чистого шума. Поэтому решай, что проверяешь, до того как посмотрел в данные, и честно сообщай, сколько всего тестов сделал.
Смещение выборки
ловушка
Если выборка нерепрезентативна, вывод неверен, как ни считай. Классика — «ошибка выжившего»: смотрели только на вернувшиеся самолёты и укрепляли не те места.
Как избежать: спрашивай «кого/чего в данных не хватает?» ещё до анализа.
▸ нырнуть глубже
Данные почти всегда собраны с фильтром: выжившие, ответившие на опрос, активные пользователи. Вывод по ним верен только для этой группы, а не для всех. Абрахам Вальд предложил укреплять как раз те места, где у вернувшихся самолётов не было пробоин — подбитые туда просто не возвращались.
Парадокс Симпсона
ловушка
Тренд «в целом» может развернуться в каждой подгруппе. Агрегат врёт, если смешать разные группы.
Как избежать: проверяй вывод в разбивке по ключевым сегментам.
Классический пример — приём в Беркли: в целом мужчин принимали чаще женщин, но на каждом факультете было наоборот — женщины просто чаще подавали на конкурсные факультеты. Лекарство: прежде чем верить общему числу, разбей по очевидным группам и проверь, держится ли вывод.
Значимость ≠ важность
ловушка
На большой выборке даже крошечная разница становится «статистически значимой». Значимо ≠ важно для бизнеса.
Как избежать: смотри на размер эффекта и доверительный интервал, а не только на p.
p-value чувствителен к размеру выборки: при миллионах строк «значимым» станет отличие в 0.1%, которое никому не нужно. Спрашивай не «значимо ли?», а «насколько велик эффект и стоит ли он действий?». Для этого есть размер эффекта (Cohen’s d, разница долей) и доверительный интервал.
Среднее на скошенных данных
ловушка
На скошенных данных (доходы, время сессии) среднее тянут вверх редкие гиганты. Один Безос в баре — и «средний» посетитель миллиардер.
Как избежать: на скошенных данных смотри медиану и перцентили, а не среднее.
Среднее хорошо только для примерно симметричных данных. У денег, длительностей, размеров городов распределение с длинным хвостом — там медиана (50-й перцентиль) честнее описывает «типичное», а p90/p99 показывают хвост. Всегда рисуй гистограмму, прежде чем доверять среднему.
Малая выборка
ловушка
На маленькой выборке проценты скачут случайно: 3 из 4 = 75%, но это ни о чём. Чем меньше N, тем шире доверительный интервал.
Как избежать: сообщай оценку с интервалом («12% ± 4%») и не делай выводов на десятке наблюдений.
Точность растёт как корень из N: чтобы вдвое сузить интервал, нужно вчетверо больше данных. На маленьких N разница между группами почти всегда «в пределах шума». Прежде чем радоваться +20%, посчитай, сколько наблюдений за этим стоит.