DataForge
Путь из Junior Data Analyst в Data Engineer: короткая теория, практика прямо в браузере и симуляция реальной работы в дата-команде.
Уроки
Платформа в разработке: пока доступен демо-урок.
- Онбординг: Кто такой дата-инженер
- Онбординг: Первые запросы в DataForge
- Онбординг: Современный стек данных
- Онбординг: Как учиться в DataForge
- Онбординг: Итоговый тест модуля
- Онбординг: Мини-проект: архитектура данных твоей компании
- Терминал, Linux и Git: Терминал: файлы и конвейеры
- Терминал, Linux и Git: Обработка текста: grep, sort, awk, sed
- Терминал, Linux и Git: Файлы, права и процессы
- Терминал, Linux и Git: Bash-скрипты
- Терминал, Linux и Git: Git: основы
- Терминал, Linux и Git: Ветки, слияние и конфликты
- Терминал, Linux и Git: История: коммиты, revert и bisect
- Терминал, Linux и Git: Сервер: окружение, cron и SSH
- Терминал, Linux и Git: Итоговый тест модуля
- Терминал, Linux и Git: Мини-проект: репозиторий с осмысленной историей
- Продвинутый SQL: Ранжирующие оконные функции
- Продвинутый SQL: Агрегаты в окне и рамки
- Продвинутый SQL: LAG, LEAD, интервалы и сессии
- Продвинутый SQL: CTE и рекурсивные запросы
- Продвинутый SQL: Дубли и «последняя версия» строки
- Продвинутый SQL: Планы запросов
- Продвинутый SQL: Индексы и селективность
- Продвинутый SQL: Итоговый тест модуля
- Продвинутый SQL: Мини-проект: пять медленных запросов
- Python для DE: Проект, а не скрипт
- Python для DE: Типы и записи
- Python для DE: Исключения и ретраи
- Python для DE: Логирование
- Python для DE: Работа с API
- Python для DE: Файлы и большие объёмы
- Python для DE: pandas для DE
- Python для DE: Тесты для пайплайнов
- Python для DE: Итоговый тест модуля
- Python для DE: Мини-проект: CLI-загрузчик из API
- Docker и окружения: Контейнеры: зачем и как устроены
- Docker и окружения: Dockerfile: слои и кеш
- Docker и окружения: Безопасный образ
- Docker и окружения: Запуск: порты, тома, переменные
- Docker и окружения: Docker Compose
- Docker и окружения: Отладка контейнеров
- Docker и окружения: Окружения: разработка, CI, прод
- Docker и окружения: Итоговый тест модуля
- Docker и окружения: Мини-проект: Postgres и загрузчик в compose
- Моделирование данных: OLTP, OLAP и нормализация
- Моделирование данных: Kimball: факты, измерения, гранулярность
- Моделирование данных: Звёздная схема
- Моделирование данных: Медленно меняющиеся измерения (SCD)
- Моделирование данных: Медальонная архитектура и OBT
- Моделирование данных: Data Vault
- Моделирование данных: Итоговый тест модуля
- Моделирование данных: Мини-проект: модель хранилища интернет-магазина
- Хранилища и форматы: Строчное и колоночное хранение
- Хранилища и форматы: Форматы файлов: CSV, JSON, Parquet, Avro
- Хранилища и форматы: Партиционирование и отсечение партиций
- Хранилища и форматы: ClickHouse: MergeTree, партиции и ключ сортировки
- Хранилища и форматы: Объектные хранилища, lakehouse и Iceberg
- Хранилища и форматы: Итоговый тест модуля
- Хранилища и форматы: Мини-проект: сравнить размер и скорость
- Ingestion — загрузка данных: Способы загрузки
- Ingestion — загрузка данных: Инкремент и watermark
- Ingestion — загрузка данных: Идемпотентная запись
- Ingestion — загрузка данных: API как источник
- Ingestion — загрузка данных: База данных как источник
- Ingestion — загрузка данных: CDC: изменения из журнала
- Ingestion — загрузка данных: Файлы партнёров и готовые инструменты
- Ingestion — загрузка данных: Итоговый тест модуля
- Ingestion — загрузка данных: Мини-проект: инкрементальный загрузчик
- dbt: Первая dbt-модель
- dbt: ref и слои: staging → intermediate → marts
- dbt: Тесты данных
- dbt: Seeds, Jinja и макросы
- dbt: Материализации и инкрементальные модели
- dbt: Snapshots — история изменений
- dbt: Выборки, документация и контракты
- dbt: Итоговый тест модуля
- dbt: Мини-проект: dbt-проект на 15 моделей
- Airflow: Зачем оркестратор
- Airflow: DAG и задачи на TaskFlow API
- Airflow: Logical date, интервалы, catchup и backfill
- Airflow: Идемпотентные задачи и ретраи
- Airflow: Сенсоры, Assets и зависимости между DAG
- Airflow: DAG в продакшене
- Airflow: Итоговый тест модуля
- Airflow: Мини-проект: ежедневный пайплайн API → S3 → DWH
- Spark: Зачем Spark и как он делит работу
- Spark: DataFrame API и ленивые вычисления
- Spark: Перетасовка и соединения
- Spark: Перекос данных
- Spark: Spark UI и чтение плана
- Spark: Запись результата
- Spark: Итоговый тест модуля
- Spark: Мини-проект: обработка 10+ ГБ логов
- Kafka и стриминг: Батч и стриминг
- Kafka и стриминг: Топики, партиции и ключи
- Kafka и стриминг: Группы консьюмеров и отставание
- Kafka и стриминг: Гарантии доставки и exactly-once
- Kafka и стриминг: Время события, окна и watermark
- Kafka и стриминг: Инструменты стриминга и CDC
- Kafka и стриминг: Итоговый тест модуля
- Kafka и стриминг: Мини-проект: стрим кликов → агрегаты в реальном времени
- Качество данных и наблюдаемость: Что такое качество данных
- Качество данных и наблюдаемость: Тесты dbt: пороги и юнит-тесты
- Качество данных и наблюдаемость: Контракты данных
- Качество данных и наблюдаемость: Детектив данных
- Качество данных и наблюдаемость: Свежесть, SLA и объём
- Качество данных и наблюдаемость: Алерты и инциденты
- Качество данных и наблюдаемость: Lineage и наблюдаемость
- Качество данных и наблюдаемость: Итоговый тест модуля
- Качество данных и наблюдаемость: Мини-проект: пайплайн падает на плохих данных
- Облако, IaC и CI/CD: Облако для инженера данных
- Облако, IaC и CI/CD: Доступы: IAM
- Облако, IaC и CI/CD: Инфраструктура как код
- Облако, IaC и CI/CD: IaC: for_each, модули, состояние
- Облако, IaC и CI/CD: CI на GitHub Actions
- Облако, IaC и CI/CD: Секреты
- Облако, IaC и CI/CD: CD для данных
- Облако, IaC и CI/CD: Итоговый тест модуля
- Облако, IaC и CI/CD: Мини-проект: CI для dbt на каждый PR
- Системный дизайн и карьера: Как проектировать систему данных
- Системный дизайн и карьера: Батч, стрим и их сочетание
- Системный дизайн и карьера: Дизайн-доки
- Системный дизайн и карьера: Системный дизайн на собеседовании
- Системный дизайн и карьера: Поведенческие вопросы
- Системный дизайн и карьера: Резюме и портфолио
- Системный дизайн и карьера: Из аналитика в дата-инженеры
- Системный дизайн и карьера: Итоговый тест модуля
- Системный дизайн и карьера: Мини-проект: защита финального проекта