Airflow, Dagster, Prefect, зависимости, расписания, повторные попытки (retries), дозагрузка истории и выпуск конвейера.
Airflow вес приоритета (priority weight): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Настройка планировщика Airflow (Airflow scheduler tuning): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Программно определяемые активы Dagster (Dagster software-defined assets): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Триггеры Kestra (Kestra triggers): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Один оркестратор или несколько: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Частичный повторный запуск (Partial rerun): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Процесс с участием человека (Human-in-the-loop workflow): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Архитектура оркестрации данных: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow DAG рекомендации (best practices): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →API TaskFlow в Airflow (Airflow TaskFlow API): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Динамическое сопоставление задач Airflow (Airflow dynamic task mapping): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Наборы данных Airflow (Airflow datasets): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Планирование Airflow с учётом активов (Airflow asset-aware scheduling): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пулы задач Airflow (Airflow pools): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Очереди задач Airflow (Airflow queues): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow SLA и deadline alerts: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow повторные попытки (retries): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Откладываемые операторы Airflow (Airflow deferrable operators): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Датчики Airflow (Airflow sensors): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow режим перепланирования (reschedule mode): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Служба отложенных задач Triggerer в Airflow (Airflow triggerer): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Межзадачный обмен XCom в Airflow (Airflow XCom): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Большие данные в XCom: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow variables и connections: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Хранилище секретов (Secrets backend) Airflow: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ролевое управление доступом RBAC в Airflow (Airflow RBAC): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow многоклиентская архитектура (multi-tenancy): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Исполнитель KubernetesExecutor в Airflow (Airflow KubernetesExecutor): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Исполнитель CeleryExecutor в Airflow (Airflow CeleryExecutor): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Исполнитель LocalExecutor в Airflow (Airflow LocalExecutor): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow высокая доступность (high availability): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →База метаданных Airflow (Airflow metadata database): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сериализация DAG в Airflow (Airflow DAG serialization): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Удалённое журналирование Airflow (Airflow remote logging): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow наблюдаемость (observability): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Непрерывная интеграция и доставка CI/CD для Airflow (Airflow CI/CD): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тестирование Airflow DAG: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Unit tests для operator: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Интеграционные тесты конвейера (Integration tests pipeline): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Время разбора DAG (DAG parsing time): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Фабрика DAG (DAG factory): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Динамическое создание DAG (Dynamic DAG generation): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Дозагрузка истории (Backfill) в Airflow: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Catchup в Airflow: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Расписание Timetable в Airflow (Airflow timetable): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Интервал данных (Data interval): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Логическая дата (Logical date): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Партиции Dagster (Dagster partitions): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Датчики Dagster (Dagster sensors): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Расписания Dagster (Dagster schedules): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dagster проверки активов (asset checks): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dagster дозагрузка истории (backfill): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ресурсы Dagster (Dagster resources): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dagster Менеджеры ввода-вывода (IO managers): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dagster составной актив (multi-asset): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Условие автоматизации Dagster (Dagster automation condition): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Prefect flow и task: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Развёртывания Prefect (Prefect deployments): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Prefect пулы исполнителей (work pools): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Prefect повторные попытки (retries) и caching: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ограничения параллелизма Prefect (Prefect concurrency limits): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →События Prefect (Prefect events): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Потоки выполнения Kestra (Kestra flows): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пространства имён Kestra (Kestra namespaces): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Рабочие процессы Flyte (Flyte workflows): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Задачи Flyte (Flyte tasks): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →DAG в Argo Workflows (Argo Workflows DAG): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →События Argo (Argo Events): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Apache DolphinScheduler: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Конвейеры Mage (Mage pipelines): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Задачи Luigi (Luigi tasks): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестратор или cron: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестратор или Kubernetes CronJob: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow или Dagster: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow или Prefect: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dagster или Prefect: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow или Kestra: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Airflow или Argo Workflows: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Flyte или Airflow: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Центральная платформа оркестрация (orchestration): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Федеративная оркестрация (Federated orchestration): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация dbt: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация Spark: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация Kafka задания (jobs): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация CDC: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация file transfer: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация API приём данных (ingestion): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Event-driven запуск DAG: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Планирование с учётом данных (Data-aware scheduling): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Зависимости между DAG (Cross-DAG dependencies): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Датчик внешней задачи (External task sensor): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dependency через данные: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контроль критического пути (Critical path monitoring): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Инструкция реагирования (Runbook) для failed DAG: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Автоматический повторная попытка (retry) или ручной разбор: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Продолжение с контрольной точки (Resume from checkpoint): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Идемпотентная task: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тайм-аут задачи (Task timeout): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Задача-зомби (Zombie task): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Зависшая задача (Stuck task): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Осиротевшая задача (Orphaned task): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Автомасштабирование исполнителей (Worker autoscaling): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Очереди разных приоритетов: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обратное давление (Backpressure) на уровне оркестратора: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Продвижение выпуска из разработки через стенд в промышленную среду (Deployment promotion dev stage prod): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Feature flags в конвейер (pipeline): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Параметризованный конвейер (pipeline): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Конфигурация конвейер (pipeline) как код: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Секреты в оркестрация (orchestration): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Аудит запусков: управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Approval gate в конвейер (pipeline): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Управление выпусками конвейера данных (Data pipeline release management): управление зависимостями, расписанием и повторными запусками, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →