ETL/ELT, программные интерфейсы (API), захват изменений (CDC), пакетная и потоковая обработка (batch и streaming), оркестрация, качество, наблюдаемость и эксплуатация данных (DataOps).
Каждый раздел отвечает на отдельную задачу: доставить, преобразовать, проверить, выпустить, наблюдать и восстановить.
ETL/ELT, гарантии доставки, форматы, слои и контракты.
Открыть раздел →02API, файлы, коннекторы, снимки (snapshots) и дельта.
Открыть раздел →03Spark, dbt, витрины, дозагрузка истории (backfill) и публикация.
Открыть раздел →04Kafka, Flink, окна, состояние и поздние события (late events).
Открыть раздел →05Airflow, Dagster, Prefect, повторные попытки (retries) и зависимости.
Открыть раздел →06Проверки, сверки, контракты данных (data contracts) и шлюзы качества.
Открыть раздел →07Метрики, происхождение данных (lineage), SLO и инциденты.
Открыть раздел →08Готовность к промышленной работе, безопасность, стоимость и дежурство.
Открыть раздел →
Наблюдаемость данных (Data observability): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Дозагрузка истории (Backfill) данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Топик Kafka: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Озёрное хранилище (Lakehouse): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Event sourcing и конвейер (pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Оркестрация по событиям (Event-driven orchestration): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →
Загрузка данных из REST API: надёжная доставка из источника в зона приёма (landing) или необработанные данные (raw) слой, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Мягкие удаления в конвейер (pipeline): надёжная доставка из источника в зона приёма (landing) или необработанные данные (raw) слой, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Интеграция с ERP: надёжная доставка из источника в зона приёма (landing) или необработанные данные (raw) слой, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Читать разбор →Оркестрация, приём данных (ingestion), Kafka и брокеры, вычисления (compute), CDC, преобразования, качество, наблюдаемость и озёрное хранилище (lakehouse).
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
долгоживущие процессы, инфраструктурная автоматизация и доставка конвейер (pipeline)
совместимость событий и файлов между независимыми командами
версионируемая подготовка моделей и витрин внутри хранилища
TenderDataHub поставляет программный интерфейс (API), исторические массивы и регулярные дельты тендеров, контрактов, организаций, победителей, продукции, цен, рисков и документов.
Публичные внедрения ведут на первоисточники; редакционные схемы явно отделены.
Инженер данных, Kafka, Spark, Airflow, NiFi, dbt, качество данных (Data Quality) и архитектура платформ.
Средний · По программе
Продвинутый · По программе
Средний · По программе
Средний · По программе
Средний · По программе
Средний · По программе
Зафиксируйте контракт, контрольную точку (checkpoint), шлюз качества (quality gate), наблюдаемость, повторное воспроизведение (replay), дозагрузку истории (backfill), RPO/RTO и владельца результата.