Не формулы ради формул, а инструмент отличать сигнал от шума. Ядро концептов — с раскрытием «почему подробнее» и интерактивами, где можно покрутить самому.
Ядро
Описательная статистика
Уровень 0
Первый навык — свести гору чисел к картине, которую держишь в голове: где центр (среднее, медиана, мода), какой разброс (std, IQR), какая форма и есть ли выбросы. С этого начинается любой анализ: прежде чем что-то доказывать, надо просто увидеть, что вообще происходит в данных.
Частая ошибка: Считать среднее на скошенных данных: один Безос заходит в бар — и «средний гость» уже миллиардер. На зарплатах, ценах и длительностях бери медиану и смотри на всё распределение, а не на одну цифру.
Среднее и медиана расходятся именно тогда, когда форма несимметрична, и сам этот зазор — уже сигнал. Две группы с одинаковым средним могут быть совершенно разными по разбросу, поэтому центр без разброса почти бесполезен. А выброс не всегда мусор: иногда это ошибка ввода, а иногда самое ценное в данных — так что сначала разберись, откуда он взялся, и только потом решай, удалять ли.
Вероятность и распределения
Уровень 1
Язык случайности. Распределение — это карта того, какие значения насколько вероятны: нормальное («колокол»), биномиальное, Пуассон. Без этого языка невозможно понять, что вообще значит «получилось случайно».
Частая ошибка: Считать, что всё на свете нормальное. Далеко не так: доходы, время ожидания, число кликов живут по совсем другим законам. Прежде чем применять метод, заточенный под нормальность, просто посмотри на гистограмму.
Правило 68-95-99.7 говорит, сколько данных лежит в пределах 1, 2 и 3 стандартных отклонений от среднего у нормального распределения — это твоя быстрая линейка «а нормальное ли это значение». А почему нормальное встречается так часто? Из-за центральной предельной теоремы: сумма или среднее многих независимых мелких влияний почти всегда даёт колокол, каким бы кривым ни было исходное распределение. Именно ЦПТ — мост от вероятности к статистике, и лучший способ её прочувствовать — симулировать.
Выборка и неопределённость
Уровень 2 · сердце статы
Сердце статистики: по кусочку данных (выборке) говорить про целое (популяцию) — но честно, с погрешностью. Отсюда стандартная ошибка, доверительный интервал и бутстрап — трюк, где ты просто пересэмплируешь свои данные тысячи раз и смотришь, как пляшет оценка.
Частая ошибка: Читать «95% ДИ» как «истинное значение с вероятностью 95% лежит вот тут». Правильно так: если повторять эксперимент много раз, метод в 95% случаев накроет истину. И всегда сообщай оценку с интервалом — «конверсия 12% ± 2%» честнее голого «12%».
Стандартная ошибка падает с ростом выборки, но по корню: чтобы стать вдвое точнее, нужно вчетверо больше данных — вот почему бесконечно добирать наблюдения невыгодно. Бутстрап особенно красив тем, что даёт доверительный интервал почти для любой статистики без единой формулы: пересэмплируй с возвращением, посчитай статистику 10 000 раз, возьми 2.5-й и 97.5-й перцентили. Компьютер здесь заменяет полкурса матана.
Проверка гипотез
Уровень 3 · важнейшее
Формальный способ ответить: различие реально или это шум? Ставим нулевую гипотезу «эффекта нет», считаем p-value — вероятность увидеть такой (или ещё более крайний) результат, если эффекта на самом деле нет. Маленький p значит, что данные плохо согласуются с «ничего не происходит».
Частая ошибка: Ошибка на миллион: p-value — это НЕ «вероятность, что гипотеза верна» и НЕ «вероятность, что результат случаен». p = 0.03 не значит «эффект реален на 97%». Лечится одним: проговаривай правильную формулировку вслух, пока она не станет автоматом.
Тут прячутся две ошибки: I рода — увидеть эффект, которого нет (ложная тревога, её частоту задаёт порог 0.05), и II рода — проглядеть реальный эффект. Мощность — это шанс заметить эффект, если он есть; она растёт с размером выборки, и именно из мощности вырастает расчёт «сколько данных нужно» для A/B. t-тест сравнивает средние двух групп, хи-квадрат — доли и категории; это два самых ходовых теста, но оба стоят на одном фундаменте p-value.
Связи и регрессия
Уровень 4
Как одно связано с другим. Корреляция — число от −1 до +1, насколько две величины движутся вместе (Пирсон — для линейной связи, Спирмен — для монотонной). Регрессия идёт дальше: проводит прямую Y = a + b·X, и коэффициент b говорит, на сколько меняется Y при росте X на единицу — первый шаг к предсказаниям.
Частая ошибка: Путать корреляцию с причинностью. Продажи мороженого коррелируют с утоплениями, но виновата жара, а не мороженое — почти всегда есть третий фактор или чистое совпадение. Причинность доказывает только эксперимент с рандомизацией, а не наблюдаемая связь.
R² говорит, какую долю разброса Y объясняет модель (0 — ничего, 1 — идеально), но высокий R² сам по себе не значит «модель верна» — всегда смотри на график остатков, а не только на число. Спирмен устойчивее Пирсона к выбросам и ловит изогнутые, но монотонные связи. И помни: регрессия описывает связь в тех данных, что ты видел; она не гарантирует, что вне их диапазона всё останется таким же.
Эксперименты и A/B
Уровень 5 · финиш
То, за что реально платят продуктовому аналитику. Случайно делим пользователей на группы A и B, меняем одну вещь, сравниваем метрику — и именно рандомизация позволяет говорить о причинности, а не просто о связи. Дальше — путь от гипотезы до решения «внедрять или нет».
Частая ошибка: Гнаться за «p < 0.05» и забыть про размер эффекта. На огромной выборке значимым станет даже прирост конверсии в жалкие 0.1% — статистически значимо ≠ важно для бизнеса. Всегда спрашивай: а этот эффект вообще стоит внедрения?
Размер выборки и мощность считают заранее: иначе либо проглядишь эффект, либо будешь гонять тест вечно. Осторожно с множественными сравнениями — проверишь 20 метрик при пороге 0.05, и одна «выстрелит» случайно; фиксируй гипотезу заранее и делай поправку (Бонферрони и т.п.). А байесовский подход — хорошее «что учить дальше»: он даёт то, чего хочется интуитивно, — вероятность гипотезы при данных, а не наоборот.
Посмотреть вживую
Интерактивные визуализации и видео — «увидеть» статистику руками. Начни с Seeing Theory.
Визуальный учебник вероятности и статистики от Brown University: анимациями можно управлять руками. Проходит весь путь — вероятность, распределения, вывод, регрессия — красиво и по нарастающей. Лучшая точка входа, если хочешь «пощупать» статистику, а не заучивать.
Фишка: Не читай подряд: возьми концепцию из ядра, найди её здесь, покрути ползунки — и сразу примени на своих данных.
Вопросы
Как меняется колокол, когда двигаешь среднее и разброс?
Что происходит с выборочным средним, когда растёт размер выборки?
Набор интерактивов Кристоффера Магнуссона: доверительные интервалы, корреляция, p-value, размер эффекта, статистическая мощность. Двигаешь ползунок — сразу видишь, что меняется. Лучшее лекарство от самых абстрактных вещей.
Фишка: Открой визуализацию мощности и подвигай размер выборки — сразу поймёшь, почему для A/B её считают заранее.
Инструмент, где бутстрап и рандомизационные тесты делаются кликами — видно, как строится распределение и доверительный интервал на реальных данных. Идеально ложится на принцип «симуляция вместо формул».
Классические учебные апплеты: выборочные распределения, центральная предельная теорема, проверка гипотез. Отлично, чтобы своими глазами увидеть ЦПТ и как ведёт себя выборка от прогона к прогону.
Джош Стармер объясняет любую концепцию статистики и ML максимально просто — с песенками и фирменным «BAM!». Если что-то не заходит текстом — ищи это у него, и станет понятно.
Визуальная математика высшего уровня. По статистике особенно важны ролики про биномиальное распределение, теорему Байеса и центральную предельную теорему — после них «щёлкает» по-настоящему.
Бесплатный структурированный курс с задачами и мгновенной проверкой. Хорош как «скелет»: идёшь по темам по порядку и закрепляешь практикой, когда нужна системность.