DuckDB ⭐
SQL локально · ноль установкиSQL-движок, который читает CSV и Parquet прямо с диска — никаких серверов ставить не надо. Лучший способ начать учить SQL: скачал датасет и сразу пишешь запросы (Уровень 1).
Минимальный набор под каждую задачу — с пометками, что для обучения, а что для прода.
Минимум, чтобы начать сегодня: SQL, Python, дашборды и портфолио — всё запускается в браузере или одной командой, без возни с настройкой.
SQL-движок, который читает CSV и Parquet прямо с диска — никаких серверов ставить не надо. Лучший способ начать учить SQL: скачал датасет и сразу пишешь запросы (Уровень 1).
Python-ноутбуки прямо в браузере, ставить ничего не нужно. Вместе с pandas — твой главный инструмент для чистки данных, EDA и первых запросов к API (Уровень 2).
Пишешь SQL по большим реальным датасетам прямо в браузере, а рядом — сотни готовых примеров запросов, которые можно разбирать. Идеально гонять SQL, пока локально ничего не поставил (Уровень 1).
Дружелюбный BI: подключаешь базу и собираешь дашборды почти без кода. Умение красиво показать метрики заметно в портфолио (Уровень 3+).
Каждый проект — репозиторий с README (вопрос → данные → что нашёл). Для IT это твоё живое резюме: работодатель смотрит именно сюда, так что заводи с самого начала, пусть даже криво.
Кубики боевого пайплайна: чем грузить данные, чем трансформировать, где хранить и кто всем этим дирижирует.
Python-библиотека, которая грузит данные из API, баз и файлов в хранилище: сама выводит схему, разворачивает вложенный JSON и умеет инкремент с merge по ключу. Заменяет гору хрупких ETL-скриптов на несколько строк (Уровень 3).
Стандарт индустрии для слоя трансформаций (буква T в ELT): пишешь модели на SQL, а dbt строит граф зависимостей, гоняет их в правильном порядке, тестирует данные и генерит документацию с lineage (Уровень 2).
Надёжная универсальная реляционная база на все случаи жизни. Не самая быстрая для тяжёлой аналитики, но простая, знакомая и её с головой хватает на старте — отличный дом для витрин dbt в pet-проекте.
Очень быстрая колоночная СУБД для аналитики на больших объёмах и в реальном времени: тянет миллиарды строк и отлично дружит с событийными данными. Рабочая лошадка серьёзной продуктовой аналитики.
Колоночный сжатый формат — де-факто стандарт хранения аналитических данных: в разы меньше CSV и читается быстрее, потому что грузит только нужные колонки. Правило: между шагами пайплайна храни в Parquet, а не в CSV.
Самый распространённый оркестратор: пайплайны описываются как DAG на Python, огромная экосистема интеграций и максимальный спрос на рынке. Тяжеловат в настройке, но если учить один взрослый оркестратор — учи именно его (Уровень 4).
Более лёгкий и питоничный оркестратор: обычные функции становятся задачами и потоками через декораторы @task/@flow, ретраи и кэш — из коробки. Бери его для первого пайплайна, чтобы почувствовать оркестрацию без боли (Уровень 4).
Чем считать: гибкий Python-стек (как на работе) и no-code программы для старта — считай мышкой, потом повторяй кодом.
Базовый набор тестов и распределений: t-тест, хи-квадрат, корреляции, работа с нормальным и другими распределениями. Первое, что импортируешь, когда доходишь до проверки гипотез (Уровень 3).
Регрессии и модели со взрослыми отчётами: коэффициенты, p-value, доверительные интервалы, R². То, что нужно для связей, регрессии и серьёзного анализа (Уровень 4).
Высокоуровневая библиотека: тест одной строкой и сразу с размером эффекта и доверительным интервалом — тем, что scipy заставляет считать отдельно. Дружелюбна к новичку.
Визуализация распределений и связей одной строкой: гистограммы, boxplot, scatter с линией регрессии. Плюс встроенные датасеты (penguins, tips, titanic), которые грузятся мгновенно — идеально под правило «сначала нарисуй данные».
Бесплатная программа с кнопками: t-тесты, ANOVA, регрессия, корреляции и даже байесовские версии — без единой строки кода. Отлично, чтобы понять сам метод, не отвлекаясь на синтаксис.
Аналог JASP: дружелюбный интерфейс для основных тестов и моделей и удобный мост от Excel к настоящей статистике. Не зашёл один — попробуй другой, они похожи.
Надстройка над аналитикой, от которой pet-проект «пахнет стартапом»: модели, поиск по смыслу и языковые модели поверх твоих данных.
Главный AI-хаб: тысячи датасетов и моделей (текст, картинки, звук) в одном месте, всё тянется в Python одной строкой load_dataset(). Отсюда берёшь готовую модель тональности или эмбеддинги для своего проекта.
Самая простая векторная база для первого поиска по смыслу (semantic search): закидываешь тексты и спрашиваешь по смыслу, а не по точным словам. Когда дойдёшь до AI-слоя — начни с неё.
Запускает языковые модели локально на твоей машине одной командой — без облака, ключей и оплаты за токены. Удобно приватно экспериментировать с моделями, пока прикручиваешь AI-слой к аналитике.
Подключаешь языковую модель по API и строишь на ней инструмент: суммаризация, классификация, «вопрос на русском → SQL к твоему датасету → ответ по данным». Это уже почти продукт.