Broadcast join в Spark
Broadcast join в Spark: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Раздел базы знаний
Пакетная обработка (batch) и преобразования
Spark, dbt, пакетная обработка, дозагрузка истории (backfill), витрины, Parquet и атомарная публикация.
Dask для ETL
Dask для ETL: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Среды SQLMesh (SQLMesh environments)
Среды SQLMesh (SQLMesh environments): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Fuzzy matching записей
Fuzzy matching записей: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Архивный слой
Архивный слой: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Уменьшение времени пакетная обработка (batch) window
Уменьшение времени пакетная обработка (batch) window: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Архитектура пакетная обработка (batch) конвейер (pipeline)
Архитектура пакетная обработка (batch) конвейер (pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ежедневная витрина данных
Ежедневная витрина данных: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Почасовая агрегация
Почасовая агрегация: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Месячное закрытие в DWH
Месячное закрытие в DWH: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Параллельная обработка партиций
Параллельная обработка партиций: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Управление зависимостями пакетных заданий (Dependency management batch jobs)
Управление зависимостями пакетных заданий (Dependency management batch jobs): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Инкрементальная модель dbt
Инкрементальная модель dbt: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Полное обновление (Full refresh) модели dbt
Полное обновление (Full refresh) модели dbt: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Merge и upsert в DWH
Merge и upsert в DWH: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Copy-on-write и merge-on-read
Copy-on-write и merge-on-read: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Compaction файлов озёрное хранилище (lakehouse)
Compaction файлов озёрное хранилище (lakehouse): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оптимальный размер Формат Parquet (Parquet)-файла
Оптимальный размер Формат Parquet (Parquet)-файла: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Партиционирование по дате
Партиционирование по дате: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Партиционирование по клиенту
Партиционирование по клиенту: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Repartition и coalesce в Spark
Repartition и coalesce в Spark: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Соединение сортировкой и слиянием (Sort merge join)
Соединение сортировкой и слиянием (Sort merge join): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Соединение с перекосом данных (Skew join)
Соединение с перекосом данных (Skew join): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Salting ключа
Salting ключа: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Адаптивное выполнение запросов (Adaptive Query Execution)
Адаптивное выполнение запросов (Adaptive Query Execution): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spark динамическое выделение ресурсов (Spark dynamic allocation)
Spark динамическое выделение ресурсов (dynamic allocation): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Накладные расходы памяти исполнителя (Executor memory overhead)
Накладные расходы памяти исполнителя (Executor memory overhead): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spark партиции перераспределения (Spark shuffle partitions)
Spark партиции перераспределения (shuffle partitions): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spark спекулятивное выполнение (Spark speculative execution)
Spark спекулятивное выполнение (speculative execution): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контрольная точка (Checkpoint) в Spark
Контрольная точка (Checkpoint) в Spark: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Кэширование DataFrame (Caching DataFrame)
Кэширование DataFrame (Caching DataFrame): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →UDF или встроенные функции
UDF или встроенные функции: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →PySpark или Scala Spark
PySpark или Scala Spark: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spark на Kubernetes
Spark на Kubernetes: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spark на YARN
Spark на YARN: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spark Structured Потоковая обработка (Streaming) как пакетная обработка (batch)
Spark Structured Потоковая обработка (Streaming) как пакетная обработка (batch): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пакетный конвейер Apache Beam (Apache Beam batch pipeline)
Пакетный конвейер Apache Beam (Apache Beam batch pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ray Data для конвейер (pipeline)
Ray Data для конвейер (pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Polars для больших файлов
Polars для больших файлов: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →DuckDB для локального ETL
DuckDB для локального ETL: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Trino для federated ETL
Trino для federated ETL: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Перенос SQL-вычислений к источнику (SQL pushdown)
Перенос SQL-вычислений к источнику (SQL pushdown): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →ELT внутри ClickHouse
ELT внутри ClickHouse: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →ELT внутри Greenplum
ELT внутри Greenplum: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →ELT внутри PostgreSQL
ELT внутри PostgreSQL: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оркестрация dbt моделей
Оркестрация dbt моделей: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Jinja в dbt
Jinja в dbt: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Снимки dbt (dbt snapshots)
снимки dbt (dbt snapshots): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Начальные данные dbt (dbt seeds)
начальные данные dbt (dbt seeds): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тесты dbt (dbt tests)
тесты dbt (dbt tests): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Потребители dbt (dbt exposures)
потребители dbt (dbt exposures): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Актуальность источников dbt (dbt source freshness)
актуальность источников dbt (dbt source freshness): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Dataform конвейер (Dataform pipeline)
Dataform конвейер (pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Blue green публикация витрин
Blue green публикация витрин: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Теневая таблица (Shadow table)
Теневая таблица (Shadow table): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Atomic swap таблиц
Atomic swap таблиц: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Staging и publish
Staging и publish: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Поздно поступающие измерения (Late arriving dimensions)
Поздно поступающие измерения (Late arriving dimensions): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Рано поступающие факты (Early arriving facts)
Рано поступающие факты (Early arriving facts): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SCD типа 1 (SCD Type 1)
SCD типа 1 (SCD Type 1): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SCD типа 2 (SCD Type 2) — пакетная обработка
SCD типа 2 (SCD Type 2): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Таблица фактов без показателей (Factless fact table)
Таблица фактов без показателей (Factless fact table): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Конвейер связующей таблицы (Bridge table pipeline)
Конвейер связующей таблицы (Bridge table pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Создание суррогатного ключа (Surrogate key generation)
Создание суррогатного ключа (Surrogate key generation): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Детерминированный ключ
Детерминированный ключ: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обработка пустое значение (null) значений
Обработка пустое значение (null) значений: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Стандартизация справочников
Стандартизация справочников: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Master data в конвейер (pipeline)
Master data в конвейер (pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Разрешение сущностей (Entity resolution)
Разрешение сущностей (Entity resolution): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Нормализация адресов
Нормализация адресов: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Нормализация телефонов
Нормализация телефонов: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Разбор ФИО
Разбор ФИО: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обогащение по ИНН
Обогащение по ИНН: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обогащение по ОКПД2
Обогащение по ОКПД2: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обогащение по КТРУ
Обогащение по КТРУ: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Парсинг состава продукции контракта
Парсинг состава продукции контракта: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пайплайн расчёта исторических цен
Пайплайн расчёта исторических цен: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пайплайн профиля поставщика
Пайплайн профиля поставщика: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пайплайн аналитики закупок
Пайплайн аналитики закупок: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пайплайн подготовки ML features
Пайплайн подготовки ML features: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Feature конвейер (pipeline) без feature store
Feature конвейер (pipeline) без feature store: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Генерация обучающей выборки
Генерация обучающей выборки: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Корректность на заданный момент времени (Point-in-time correctness)
Корректность на заданный момент времени (Point-in-time correctness): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Предотвращение data leakage
Предотвращение data leakage: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Retention исторических данных
Retention исторических данных: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Холодное хранение (Cold storage)
Холодное хранение (Cold storage): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Уровневое хранение (Tiered storage)
Уровневое хранение (Tiered storage): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Удаление данных по сроку
Удаление данных по сроку: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →GDPR delete в конвейер (pipeline)
GDPR delete в конвейер (pipeline): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Право на забвение в DWH
Право на забвение в DWH: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Пересчёт зависимых витрин
Пересчёт зависимых витрин: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Выборочная дозагрузка истории (Selective backfill)
Выборочная дозагрузка истории (Selective backfill): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Дозагрузка истории (Backfill) по диапазону дат
Дозагрузка истории (Backfill) по диапазону дат: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Параллельный дозагрузка истории (backfill)
Параллельный дозагрузка истории (backfill): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ограничение нагрузки при дозагрузка истории (backfill)
Ограничение нагрузки при дозагрузка истории (backfill): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контроль стоимости пакетная обработка (batch) задание (job)
Контроль стоимости пакетная обработка (batch) задание (job): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →FinOps для Spark
FinOps для Spark: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Планирование мощности пакетного кластера (Capacity planning batch cluster)
Планирование мощности пакетного кластера (Capacity planning batch cluster): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SLA ежедневной загрузки
SLA ежедневной загрузки: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Критический путь DAG
Критический путь DAG: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оптимизация критического пути
Оптимизация критического пути: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Прерываемые вычисления
Прерываемые вычисления: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Spot-инстансы для ETL
Spot-инстансы для ETL: пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Resume после сбоя пакетная обработка (batch) задание (job)
Resume после сбоя пакетная обработка (batch) задание (job): пакетная обработка и атомарная публикация результата, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →