справочник · инструменты

Инструменты

Минимальный набор под каждую задачу — с пометками, что для обучения, а что для прода.

Для обучения (ноль-установки)

Минимум, чтобы начать сегодня: SQL, Python, дашборды и портфолио — всё запускается в браузере или одной командой, без возни с настройкой.

DuckDB

SQL локально · ноль установки

SQL-движок, который читает CSV и Parquet прямо с диска — никаких серверов ставить не надо. Лучший способ начать учить SQL: скачал датасет и сразу пишешь запросы (Уровень 1).

Google Colab + pandas

Python в браузере · бесплатно

Python-ноутбуки прямо в браузере, ставить ничего не нужно. Вместе с pandas — твой главный инструмент для чистки данных, EDA и первых запросов к API (Уровень 2).

ClickHouse Playground

SQL онлайн · без установки

Пишешь SQL по большим реальным датасетам прямо в браузере, а рядом — сотни готовых примеров запросов, которые можно разбирать. Идеально гонять SQL, пока локально ничего не поставил (Уровень 1).

Metabase

BI · без кода

Дружелюбный BI: подключаешь базу и собираешь дашборды почти без кода. Умение красиво показать метрики заметно в портфолио (Уровень 3+).

Фишка: Когда дашбордов станет много — есть альтернатива посерьёзнее, Apache Superset.

Git / GitHub

портфолио · бесплатно

Каждый проект — репозиторий с README (вопрос → данные → что нашёл). Для IT это твоё живое резюме: работодатель смотрит именно сюда, так что заводи с самого начала, пусть даже криво.

Дата-инженерия

Кубики боевого пайплайна: чем грузить данные, чем трансформировать, где хранить и кто всем этим дирижирует.

dlt

загрузка (EL) · Python

Python-библиотека, которая грузит данные из API, баз и файлов в хранилище: сама выводит схему, разворачивает вложенный JSON и умеет инкремент с merge по ключу. Заменяет гору хрупких ETL-скриптов на несколько строк (Уровень 3).

Фишка: Есть готовые верифицированные источники (Stripe, GitHub, SQL-базы) и назначения — сменить destination с DuckDB на BigQuery можно одной строкой.

dbt

трансформации как код · SQL

Стандарт индустрии для слоя трансформаций (буква T в ELT): пишешь модели на SQL, а dbt строит граф зависимостей, гоняет их в правильном порядке, тестирует данные и генерит документацию с lineage (Уровень 2).

Фишка: Растущая альтернатива — SQLMesh: глубже понимает SQL и даёт виртуальные окружения данных. Знать полезно, стартовать проще с dbt.

PostgreSQL

реляционная БД · универсал

Надёжная универсальная реляционная база на все случаи жизни. Не самая быстрая для тяжёлой аналитики, но простая, знакомая и её с головой хватает на старте — отличный дом для витрин dbt в pet-проекте.

ClickHouse

колоночная · большой объём

Очень быстрая колоночная СУБД для аналитики на больших объёмах и в реальном времени: тянет миллиарды строк и отлично дружит с событийными данными. Рабочая лошадка серьёзной продуктовой аналитики.

Parquet

колоночный формат · стандарт

Колоночный сжатый формат — де-факто стандарт хранения аналитических данных: в разы меньше CSV и читается быстрее, потому что грузит только нужные колонки. Правило: между шагами пайплайна храни в Parquet, а не в CSV.

Airflow

оркестрация · стандарт индустрии

Самый распространённый оркестратор: пайплайны описываются как DAG на Python, огромная экосистема интеграций и максимальный спрос на рынке. Тяжеловат в настройке, но если учить один взрослый оркестратор — учи именно его (Уровень 4).

Prefect

оркестрация · питоничный

Более лёгкий и питоничный оркестратор: обычные функции становятся задачами и потоками через декораторы @task/@flow, ретраи и кэш — из коробки. Бери его для первого пайплайна, чтобы почувствовать оркестрацию без боли (Уровень 4).

Фишка: Совет из гайда: начни с Prefect, а Airflow выучи вторым — его чаще спрашивают на собеседованиях.

Статистика

Чем считать: гибкий Python-стек (как на работе) и no-code программы для старта — считай мышкой, потом повторяй кодом.

scipy.stats

Python · тесты

Базовый набор тестов и распределений: t-тест, хи-квадрат, корреляции, работа с нормальным и другими распределениями. Первое, что импортируешь, когда доходишь до проверки гипотез (Уровень 3).

statsmodels

Python · регрессия

Регрессии и модели со взрослыми отчётами: коэффициенты, p-value, доверительные интервалы, R². То, что нужно для связей, регрессии и серьёзного анализа (Уровень 4).

pingouin

Python · удобно

Высокоуровневая библиотека: тест одной строкой и сразу с размером эффекта и доверительным интервалом — тем, что scipy заставляет считать отдельно. Дружелюбна к новичку.

Фишка: Если scipy кажется низкоуровневым — pingouin отдаёт эффект и ДИ из коробки, меньше ручной возни.

seaborn

Python · графики

Визуализация распределений и связей одной строкой: гистограммы, boxplot, scatter с линией регрессии. Плюс встроенные датасеты (penguins, tips, titanic), которые грузятся мгновенно — идеально под правило «сначала нарисуй данные».

JASP

no-code · бесплатно

Бесплатная программа с кнопками: t-тесты, ANOVA, регрессия, корреляции и даже байесовские версии — без единой строки кода. Отлично, чтобы понять сам метод, не отвлекаясь на синтаксис.

jamovi

no-code · бесплатно

Аналог JASP: дружелюбный интерфейс для основных тестов и моделей и удобный мост от Excel к настоящей статистике. Не зашёл один — попробуй другой, они похожи.

AI-слой

Надстройка над аналитикой, от которой pet-проект «пахнет стартапом»: модели, поиск по смыслу и языковые модели поверх твоих данных.

Hugging Face

AI-хаб · модели и датасеты

Главный AI-хаб: тысячи датасетов и моделей (текст, картинки, звук) в одном месте, всё тянется в Python одной строкой load_dataset(). Отсюда берёшь готовую модель тональности или эмбеддинги для своего проекта.

Chroma

векторная БД · для AI

Самая простая векторная база для первого поиска по смыслу (semantic search): закидываешь тексты и спрашиваешь по смыслу, а не по точным словам. Когда дойдёшь до AI-слоя — начни с неё.

Фишка: Chroma проще Pinecone и Weaviate — начни с неё, а тяжёлые векторные БД оставь на потом.

Ollama

локальные LLM · бесплатно

Запускает языковые модели локально на твоей машине одной командой — без облака, ключей и оплаты за токены. Удобно приватно экспериментировать с моделями, пока прикручиваешь AI-слой к аналитике.

LLM API

языковая модель · мозги тула

Подключаешь языковую модель по API и строишь на ней инструмент: суммаризация, классификация, «вопрос на русском → SQL к твоему датасету → ответ по данным». Это уже почти продукт.

Фишка: Порядок важен: AI-слой — надстройка над аналитикой, а не замена. Сначала научись задавать вопросы данным (Уровни 1–3), потом прикручивай модели.