Готовые CSV — удобно, но настоящий навык — тянуть свежие «грязные» данные самому. Начни с тех, где не нужен ключ.
Готовые CSV — это удобно, но настоящий навык — тянуть свежие, ещё «грязные» данные самому, как на работе. Начни с тех, где ключ не нужен, — и не ищи «правильный» API, бери тот, тема которого тебе не пофиг.
Огромный список бесплатных API по категориям — погода, финансы, спорт, игры, животные — с пометками про ключи и лимиты. Первое место, куда идти за «а есть ли вообще API про X». Рядом лежит подборка 10 API специально под data engineering с готовым примером пайплайна.
Всё про покемонов: характеристики, типы, эволюции и связи между сущностями. Идеальный самый первый API — без регистрации, понятная структура, есть на чём набить руку с JSON и запросами.
Справочник по всем странам: население, площадь, валюты, языки, границы. Отлично склеивается с другими данными — обогащаешь свой датасет по стране и строишь гео-карты.
Активность репозиториев: коммиты, звёзды, issue, релизы. Можно копать популярность опенсорса и тренды технологий прямо на своих любимых репах.
Треки, артисты, плейлисты и аудио-фичи — танцевальность, энергия, темп, настроение. Можно собрать данные по своим плейлистам и разобрать собственный вкус по косточкам.
Текущая погода и прогнозы по всему миру. Классика для проектов, где погоду скрещивают с чем-то ещё — задержки рейсов, продажи, активность людей.
База новостных событий со всего мира с эмоциональной окраской и переводом в реальном времени. Масштаб огромный — для амбициозных проектов про мировые тренды и тональность.
Продвинутая тема — на потом, но именно такие проекты выделяют. Это данные, которые текут прямо сейчас, и генераторы событий, чтобы строить пайплайны как в настоящем продукте.
Курируемый список живых источников: транспорт, сейсмика, авиация, крипта, IoT-датчики, threat-intelligence. Плюс генераторы синтетики, которые публикуют события прямо в Kafka. Отсюда удобно найти любой live-источник под свою тему.
Поток правок Википедии в реальном времени. Самый простой «первый стрим»: подключаешься — и сразу видишь, как летят события. Отлично, чтобы на пальцах понять, как вообще устроен real-time.
Живой фид землетрясений по миру: время, место, магнитуда, глубина. Обновляется постоянно — хорош для карт в реальном времени и простых алертов.
EventSim генерит события фейкового музыкального сервиса (как Spotify), Lenses Datagen публикует в Kafka готовые датасеты — позиции судов, поездки такси, IoT. Объёмом рулишь сам, так что можно строить продуктовый пайплайн без реального продукта.