ETL/ELT, пакетная и потоковая обработка (batch и streaming), гарантии доставки, форматы, контракты данных и слои.
Наблюдаемость данных (Data observability): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Дозагрузка истории (Backfill) данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Топик Kafka: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Озёрное хранилище (Lakehouse): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Event sourcing и конвейер (pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация по событиям (Event-driven orchestration): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Что такое конвейер данных (data pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →ETL и ELT: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пакетная обработка (Batch processing): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Потоковая обработка (Stream processing): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Микропакетная обработка (Micro-batch): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Лямбда-архитектура (Lambda architecture): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Каппа-архитектура (Kappa architecture): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Эксплуатация данных (DataOps): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Продукт данных (Data product): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Data mesh и конвейеры данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контракт данных (Data contract): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Эволюция схемы (Schema evolution): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Изменение схемы (Schema drift): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Происхождение данных (Data lineage): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →История происхождения данных (Data provenance): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Актуальность (Freshness) данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Полнота данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Уникальность данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Согласованность данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Идемпотентность конвейер (pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Семантика ровно одного раза (Exactly-once semantics): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →At-least-once доставка: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →At-most-once доставка: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обратное давление (Backpressure): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Отметка обработанного окна (Watermark) в потоковая обработка (streaming): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Event time и processing time: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Поздние события (Late events): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →События вне порядка (Out-of-order events): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контрольная точка (Checkpoint) потоковой обработки: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Повторное воспроизведение (Replay) событий: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Инкрементальная загрузка (Incremental load): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Полное обновление (Full refresh): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Захват изменений данных (Change Data Capture): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →CDC на основе журнала (Log-based CDC): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →CDC на основе запросов (Query-based CDC): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →CDC по снимкам (Snapshot CDC): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Двойная запись (Dual write): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Паттерн исходящих событий (Outbox pattern): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Паттерн входящих событий (Inbox pattern): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Очередь необработанных сообщений (Dead letter queue): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Необрабатываемое сообщение (Poison message): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Задержка потребителя (Consumer lag): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Партиция Kafka: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Группа потребителей (Consumer group): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Смещение Kafka (Offset Kafka): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Retention и compaction: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Реестр схем (Schema Registry): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Формат Avro (Avro): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Формат Parquet (Parquet): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Формат ORC (ORC): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Построчный JSON (JSON Lines): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →CSV в промышленной эксплуатации (production) конвейер (pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Колоночный формат Apache Arrow (Apache Arrow): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проблема малых файлов (Small files problem): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Отсечение партиций (Partition pruning): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Перенос предиката к источнику (Predicate pushdown): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Отсечение столбцов (Column pruning): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Перекос данных (Data skew): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Перераспределение данных (Shuffle): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Выгрузка на диск (Spill to disk): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Озеро данных (Data lake): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Хранилище данных (Data warehouse): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Слои Bronze, Silver и Gold (Bronze Silver Gold): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Медальонная архитектура (Medallion architecture): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Промежуточный слой (Staging layer): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оперативное хранилище данных (Operational data store): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Витрина данных (Data mart): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Semantic layer и границы конвейер (pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Медленно изменяющееся измерение (Slowly Changing Dimension): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SCD типа 2 (SCD Type 2): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Суррогатный ключ (Surrogate key): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Data Vault для интеграции: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Перенос ELT в источник вычислений (ELT pushdown): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обратный ETL (Reverse ETL): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →ETL без отдельного конвейера (Zero-ETL): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Виртуализация данных (Data virtualization): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Федеративный запрос (Federated query): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Репликация данных (Data replication): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →CQRS и поток данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SLA данных (Data SLA): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SLO данных (Data SLO): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Бюджет ошибок (Error budget) для данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →RPO и RTO конвейер (pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Точка восстановления конвейера (Recovery point pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Время восстановления конвейера (Recovery time pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Конвейер как код (Pipeline as code): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Infrastructure as code для платформа данных (data platform): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Data plane и control plane: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Конвейер под управлением метаданных (Metadata-driven pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →ETL под управлением конфигурации (Configuration-driven ETL): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Декларативный конвейер (Declarative pipeline): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация по активам данных (Asset-based orchestration): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →DAG и активы данных (data assets): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Динамический DAG (Dynamic DAG): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Планирование по событию набора данных (Dataset-triggered scheduling): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Интервал данных (Data interval) в Airflow: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Логическая дата (Logical date) в Airflow: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Catchup и дозагрузка истории (backfill): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Повторная попытка задачи (Task retry): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Экспоненциальная задержка повторов (Exponential backoff): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Circuit breaker в интеграции: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Лимит запросов API (Rate limit API): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Постраничная выдача API (Pagination API): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Курсорная пагинация (Cursor pagination): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Приём через вебхук (Webhook ingestion): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Приём данных опросом (Polling ingestion): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Триггер поступления файла (File arrival trigger): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Атомарная доставка файла (Atomic file delivery): понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Two-phase publish данных: понятное определение и место понятия в потоке данных, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →