ETL/ELT, приём данных (ingestion), CDC, Kafka, Spark, Airflow, dbt, качество данных (Data Quality), наблюдаемость и эксплуатация данных (DataOps).
Практический разбор: архитектурный разбор конвейера (pipeline) для госданных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: архитектурный разбор конвейера (pipeline) для промышленности. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: архитектурный разбор конвейера (pipeline) для банка. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: архитектурный разбор конвейера (pipeline) для электронная торговля (e-commerce). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: ETL без отдельного конвейера (zero-etl): где маркетинг, а где польза. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: обратный ETL (reverse etl) и операционная аналитика (operational analytics). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: медальонная архитектура без лишних копий. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: от необработанные данные (raw) к curated: границы слоёв. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: consumer-driven contracts для событий. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как внедрить data contracts поэтапно. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: ответственность за качество данных (data quality ownership): кто исправляет данные. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: сезонность в алертах качества. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как ограничить нагрузку дозагрузка истории (backfill). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как уменьшить пакетная обработка (batch) window. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: finops для spark и облачного etl. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: SLO данных (data slo) и бюджет ошибок (error budget). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: sla источника и ответственность команды. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: каталог коннекторов и очередь запросов. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как построить self-service приём данных (ingestion). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: дежурство команды инженерии данных (on-call data engineering) без выгорания. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как провести проверка готовности к промышленной эксплуатации (production readiness review). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: rpo и rto для конвейеров данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: disaster recovery для платформа данных (data platform). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: канареечный конвейер (canary pipeline) и теневые данные (shadow data). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: blue green публикация набора данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как мигрировать оркестрация (orchestration) без большого взрыва. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как мигрировать с cron на airflow. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: когда удалять старый dag. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как считать технический долг конвейера (pipeline). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: build vs buy в инженерия данных (data engineering). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: платформа или набор инструментов. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как создать golden path для инженеров данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: эксплуатация данных (dataops) для команды из трёх человек. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как подготовить данные для saas без перепродажи базы. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: ocr-документация: от файла до поиска. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: профиль поставщика по инн как продукт данных (data product). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: конвейер (pipeline) исторических цен контрактов. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как загружать дельту tenderdatahub. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: конвейер данных (data pipeline) для тендеров и закупок. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: многоклиентский конвейер (multi-tenant pipeline): варианты изоляции. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: маскирование до зона приёма (landing zone). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: pii и секреты в конвейер данных (data pipeline). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как проверить поставку файлов по sftp. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как загружать большие xml и csv. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: инкрементальная загрузка без updated_at. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: rate limits, pagination и повторные запросы. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как писать надёжный api-коннектор. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: nifi как визуальный integration layer. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: fivetran или airbyte: tco и сопровождение. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: airbyte или собственные коннекторы. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: trino как слой федеративный запрос (federated query). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: polars, duckdb или spark для etl. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как настроить spark под большой перераспределение данных (shuffle). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как лечить перекос данных (data skew). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: spark задание (job) медленный: порядок диагностики. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: compaction озёрное хранилище (lakehouse) без остановки потребителей. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: iceberg, delta lake или hudi. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: формат Parquet (parquet) small files: причины и лечение. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как обновить stateful потоковая обработка (streaming) задание (job). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: обратное давление (backpressure): как найти узкое место. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: watermarks и поздние события (late events) простыми словами. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: flink или spark structured потоковая обработка (streaming). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: kafka, pulsar, redpanda или rabbitmq. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: реестр схем (schema registry) и безопасная эволюция событий. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как повторно обработать kafka-топик. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: exactly-once: где заканчивается гарантия. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: задержка потребителя (consumer lag): диагноз, а не просто график. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: что делать с горячая партиция (hot partition). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как выбрать ключ партиционирования kafka. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: kafka connect в промышленной эксплуатации (production). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: debezium snapshot: выбор режима. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: cdc без потери deletes и ddl. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как устроить карантин (quarantine) и reprocess. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как обнаружить тихую порчу данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: контрольные суммы и бизнес-инварианты. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: почему число строк (row count) недостаточно для сверки. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как проводить разбор инцидента с данными (postmortem data incident). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: openlineage, datahub и openmetadata: роли инструментов. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как построить происхождение данных (lineage) от источника до витрины. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: какие метрики нужны дежурному инженеру данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: наблюдаемость данных (data observability) для небольшой команды. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как считать актуальность (freshness) и не ловить ложные алерты. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: тесты dbt (dbt tests): что действительно проверять. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как внедрить great expectations без сотни шумных тестов. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как создать эталонный набор данных (golden dataset). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: unit, integration и end-to-end тесты данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как тестировать конвейер (pipeline) до промышленной эксплуатации (production). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как документировать dag и активы данных (data assets). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как организовать повторная попытка (retry) без шторм повторных попыток (retry storm). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: почему cron перестаёт работать для платформа данных (data platform). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: airflow, dagster или prefect: карта выбора. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как выбрать оркестратор данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как устроить безопасный дозагрузка истории (backfill). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: идемпотентность на практическом примере. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как пережить изменение схемы (schema drift) без остановки витрин. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как писать контракт данных (data contract) между командами. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: чек-лист готовый к промышленной эксплуатации (production-ready) etl/elt. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как оценить стоимость нового источника данных. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: почему конвейер отмечен как успешный (pipeline is green), а данные неправильные. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: пакетная обработка (batch) или потоковая обработка (streaming): как не усложнить архитектуру. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: etl или elt: критерии выбора в 2026 году. Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.
Практический разбор: как спроектировать первый промышленный конвейер данных (production data pipeline). Критерии, последовательность проверки, типичные ошибки и применимый чек-лист.