ОркестрацияАктивный
Apache Airflow
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Оркестратор рабочих процессов (workflow orchestrator)
- Apache 2.0
- Apache Software Foundation
86 реальных продуктов
Инструменты конвейеров данных
Оркестрация, приём данных (ingestion), ELT, потоковая и пакетная обработка (streaming и batch), CDC, преобразования, качество, происхождение данных (lineage), наблюдаемость и озёрное хранилище (lakehouse).
Потоковая обработка (streaming) и брокерыАктивный
Apache Kafka
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Потоковая передача событий (event streaming)
- Apache 2.0
- Apache Software Foundation
Пакетная обработка (batch) и вычисления (compute)Активный
Apache Spark
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Распределённые вычисления (distributed compute)
- Apache 2.0
- Apache Software Foundation
Контракты и схемыАктивный
Apache Parquet
совместимость событий и файлов между независимыми командами
- Колоночный файловый формат (columnar file format)
- Apache 2.0
- Apache Software Foundation
ТрансформацияАктивный
dbt Core
версионируемая подготовка моделей и витрин внутри хранилища
- Аналитическая инженерия (analytics engineering)
- Apache 2.0
- dbt Labs
Платформы рабочих процессов (workflow)Активный
Kubernetes
долгоживущие процессы, инфраструктурная автоматизация и доставка конвейер (pipeline)
- Оркестрация контейнеров (container orchestration)
- Apache 2.0
- CNCF
Интеграция и ELTАктивный
Airbyte
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Коннекторы ELT (ELT connectors)
- MIT / Elastic License
- Airbyte
Пакетная обработка (batch) и вычисления (compute)Активный
Apache Flink
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Потоковая обработка (stream processing)
- Apache 2.0
- Apache Software Foundation
CDC и репликацияАктивный
Debezium
инкрементальный перенос изменений без полного чтения источника
- Захват изменений данных (change data capture)
- Apache 2.0
- Red Hat / community
Таблицы озёрного хранилища (Lakehouse tables)Активный
Apache Iceberg
надёжные таблицы поверх объектного хранилища и эволюция данных
- Табличный формат (table format)
- Apache 2.0
- Apache Software Foundation
Потоковая обработка (streaming) и брокерыАктивный
Confluent Platform
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Управляемая платформа Kafka (managed Kafka platform)
- Коммерческие компоненты и компоненты сообщества (commercial / community components)
- Confluent
Наблюдаемость (observability) и происхождение данных (lineage)Активный
Grafana
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Панели мониторинга и оповещения (dashboards and alerting)
- AGPL / коммерческая лицензия (AGPL / commercial)
- Grafana Labs
Контракты и схемыАктивный
Apache Arrow
совместимость событий и файлов между независимыми командами
- Колоночный формат в памяти (in-memory columnar format)
- Apache 2.0
- Apache Software Foundation
Интеграция и ELTАктивный
Apache NiFi
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Интеграция на основе потоков (flow-based integration)
- Apache 2.0
- Apache Software Foundation
ОркестрацияАктивный
Dagster
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Оркестратор данных (data orchestrator)
- Apache 2.0 / коммерческое облако (Apache 2.0 / commercial cloud)
- Dagster Labs
Таблицы озёрного хранилища (Lakehouse tables)Активный
Delta Lake
надёжные таблицы поверх объектного хранилища и эволюция данных
- Табличный формат (table format)
- Apache 2.0
- Linux Foundation
CDC и репликацияАктивный
Kafka Connect
инкрементальный перенос изменений без полного чтения источника
- Среда выполнения коннекторов (connector runtime)
- Apache 2.0
- Apache Software Foundation
Наблюдаемость (observability) и происхождение данных (lineage)Активный
Prometheus
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Мониторинг метрик (metrics monitoring)
- Apache 2.0
- CNCF
Контракты и схемыАктивный
Apache Avro
совместимость событий и файлов между независимыми командами
- Формат сериализации (serialization format)
- Apache 2.0
- Apache Software Foundation
Контракты и схемыАктивный
Confluent Schema Registry
совместимость событий и файлов между независимыми командами
- Реестр схем (schema registry)
- Коммерческая версия и версия сообщества (commercial / community)
- Confluent
Наблюдаемость (observability) и происхождение данных (lineage)Активный
DataHub
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Платформа метаданных (metadata platform)
- Apache 2.0
- Linux Foundation
Пакетная обработка (batch) и вычисления (compute)Активный
DuckDB
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Встраиваемый аналитический движок (embedded analytical engine)
- MIT
- DuckDB Foundation
Интеграция и ELTАктивный
Fivetran
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Управляемый ELT (managed ELT)
- Коммерческий SaaS-сервис (commercial SaaS)
- Fivetran
Качество данныхАктивный
Great Expectations
автоматические проверки полноты, уникальности, диапазонов и бизнес-правил
- Проверка данных (data validation)
- Apache 2.0
- GX
ОркестрацияАктивный
Prefect
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Оркестратор рабочих процессов (workflow orchestrator)
- Apache 2.0 / коммерческое облако (Apache 2.0 / commercial cloud)
- Prefect Technologies
Контракты и схемыАктивный
Protocol Buffers
совместимость событий и файлов между независимыми командами
- Формат сериализации (serialization format)
- BSD
Потоковая обработка (streaming) и брокерыАктивный
RabbitMQ
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Брокер сообщений (message broker)
- MPL 2.0
- Broadcom
Платформы рабочих процессов (workflow)Активный
GitHub Actions
долгоживущие процессы, инфраструктурная автоматизация и доставка конвейер (pipeline)
- Доставка конвейеров (pipeline delivery)
- Коммерческий сервис (commercial service)
- GitHub
Пакетная обработка (batch) и вычисления (compute)Активный
Polars
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Движок DataFrame (DataFrame engine)
- MIT
- Polars
Пакетная обработка (batch) и вычисления (compute)Активный
Trino
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Распределённый SQL-движок (distributed SQL engine)
- Apache 2.0
- Trino Software Foundation
Пакетная обработка (batch) и вычисления (compute)Активный
Apache Beam
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Единый SDK конвейеров (unified pipelines SDK)
- Apache 2.0
- Apache Software Foundation
Наблюдаемость (observability) и происхождение данных (lineage)Активный
OpenLineage
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Стандарт происхождения данных (lineage standard)
- Apache 2.0
- Linux Foundation
Наблюдаемость (observability) и происхождение данных (lineage)Активный
OpenMetadata
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Платформа метаданных (metadata platform)
- Apache 2.0
- OpenMetadata
CDC и репликацияАктивный
Oracle GoldenGate
инкрементальный перенос изменений без полного чтения источника
- Корпоративный CDC (enterprise CDC)
- Коммерческая лицензия (commercial)
- Oracle
Потоковая обработка (streaming) и брокерыАктивный
Redpanda
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Kafka-совместимая потоковая обработка (Kafka-compatible streaming)
- BSL / коммерческое облако (BSL / commercial cloud)
- Redpanda
CDC и репликацияАктивный
Yandex Data Transfer
инкрементальный перенос изменений без полного чтения источника
- Управляемая передача данных (managed data transfer)
- Коммерческое облако (commercial cloud)
- Yandex Cloud
Потоковая обработка (streaming) и брокерыАктивный
Amazon Kinesis
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Управляемая потоковая обработка (managed streaming)
- Коммерческое облако (commercial cloud)
- AWS
Пакетная обработка (batch) и вычисления (compute)Активный
Apache Hadoop
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Распределённое хранение и вычисления (distributed storage and compute)
- Apache 2.0
- Apache Software Foundation
Таблицы озёрного хранилища (Lakehouse tables)Активный
Apache Hudi
надёжные таблицы поверх объектного хранилища и эволюция данных
- Табличный формат (table format)
- Apache 2.0
- Apache Software Foundation
Потоковая обработка (streaming) и брокерыАктивный
Apache Pulsar
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Распределённый обмен сообщениями (distributed messaging)
- Apache 2.0
- Apache Software Foundation
ОркестрацияАктивный
Argo Workflows
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Рабочие процессы Kubernetes (Kubernetes workflows)
- Apache 2.0
- CNCF
CDC и репликацияАктивный
AWS Database Migration Service
инкрементальный перенос изменений без полного чтения источника
- Управляемый CDC (managed CDC)
- Коммерческое облако (commercial cloud)
- AWS
Интеграция и ELTАктивный
dlt
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Библиотека приёма данных на Python (Python ingestion library)
- Apache 2.0
- dltHub
Платформы рабочих процессов (workflow)Активный
GitLab CI/CD
долгоживущие процессы, инфраструктурная автоматизация и доставка конвейер (pipeline)
- Доставка конвейеров (pipeline delivery)
- MIT / коммерческая лицензия (MIT / commercial)
- GitLab
Потоковая обработка (streaming) и брокерыАктивный
Google Cloud Pub/Sub
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Управляемый обмен сообщениями (managed messaging)
- Коммерческое облако (commercial cloud)
- Google Cloud
Потоковая обработка (streaming) и брокерыАктивный
NATS
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Облачная система обмена сообщениями (cloud-native messaging)
- Apache 2.0
- CNCF
Пакетная обработка (batch) и вычисления (compute)Активный
Ray
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Распределённые вычисления на Python (distributed Python compute)
- Apache 2.0
- Anyscale
Качество данныхАктивный
Soda Core
автоматические проверки полноты, уникальности, диапазонов и бизнес-правил
- Тесты качества данных (data quality tests)
- Apache 2.0
- Soda
Платформы рабочих процессов (workflow)Активный
Temporal
долгоживущие процессы, инфраструктурная автоматизация и доставка конвейер (pipeline)
- Отказоустойчивое выполнение (durable execution)
- MIT / коммерческое облако (MIT / commercial cloud)
- Temporal Technologies
Интеграция и ELTАктивный
Twilio Segment
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Платформа клиентских данных (customer data platform)
- Коммерческий SaaS-сервис (commercial SaaS)
- Twilio
Потоковая обработка (streaming) и брокерыАктивный
Azure Event Hubs
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Управляемая потоковая передача событий (managed event streaming)
- Коммерческое облако (commercial cloud)
- Microsoft
Платформы рабочих процессов (workflow)Активный
Camunda
долгоживущие процессы, инфраструктурная автоматизация и доставка конвейер (pipeline)
- Оркестрация бизнес-процессов (business process orchestration)
- Zeebe community / коммерческая лицензия (Zeebe community / commercial)
- Camunda
Потоковая обработка (streaming) и брокерыАктивный
Yandex Data Streams
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
- Управляемая потоковая обработка (managed streaming)
- Коммерческое облако (commercial cloud)
- Yandex Cloud
Пакетная обработка (batch) и вычисления (compute)Активный
Dask
массовая обработка, агрегации, обогащение (enrichment) и подготовка витрин
- Параллельные вычисления на Python (parallel Python compute)
- BSD
- Dask community
ОркестрацияАктивный
Kestra
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Оркестратор на основе событий (event-driven orchestrator)
- Apache 2.0 / коммерческая лицензия (Apache 2.0 / commercial)
- Kestra
Наблюдаемость (observability) и происхождение данных (lineage)Активный
Monte Carlo
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Наблюдаемость данных (data observability)
- Коммерческий SaaS-сервис (commercial SaaS)
- Monte Carlo
ТрансформацияАктивный
SQLMesh
версионируемая подготовка моделей и витрин внутри хранилища
- Фреймворк преобразования данных (data transformation framework)
- Apache 2.0
- Tobiko Data
Наблюдаемость (observability) и происхождение данных (lineage)Активный
Datadog Data Observability
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Мониторинг конвейеров (pipeline monitoring)
- Коммерческий SaaS-сервис (commercial SaaS)
- Datadog
ОркестрацияАктивный
Flyte
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Оркестратор рабочих процессов (workflow orchestrator)
- Apache 2.0
- Linux Foundation
ТрансформацияАктивный
Google Cloud Dataform
версионируемая подготовка моделей и витрин внутри хранилища
- SQL-преобразования (SQL transformations)
- Коммерческое облако и открытое ядро (commercial cloud / open core)
- Google Cloud
Таблицы озёрного хранилища (Lakehouse tables)Активный
lakeFS
надёжные таблицы поверх объектного хранилища и эволюция данных
- Контроль версий данных (data version control)
- Apache 2.0 / коммерческая лицензия (Apache 2.0 / commercial)
- Treeverse
ОркестрацияАктивный
Mage
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Платформа конвейеров данных (data pipeline platform)
- Apache 2.0
- Mage
ОркестрацияАктивный
Metaflow
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Рабочие процессы анализа данных (data science workflows)
- Apache 2.0
- Netflix / Outerbounds
Интеграция и ELTАктивный
RudderStack
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Конвейеры клиентских данных (customer data pipelines)
- Elastic License / коммерческая лицензия (Elastic License / commercial)
- RudderStack
Интеграция и ELTАктивный
Talend Data Integration
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Корпоративная интеграция (enterprise integration)
- Коммерческая лицензия (commercial)
- Qlik
Контракты и схемыАктивный
Apicurio Registry
совместимость событий и файлов между независимыми командами
- Реестр схем (schema registry)
- Apache 2.0
- Red Hat / community
Интеграция и ELTАктивный
Matillion
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Облачная интеграция данных (cloud data integration)
- Коммерческий SaaS-сервис (commercial SaaS)
- Matillion
Интеграция и ELTАктивный
Meltano
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Открытая интеграция данных (open data integration)
- MIT
- Meltano
Качество данныхАктивный
Pandera
автоматические проверки полноты, уникальности, диапазонов и бизнес-правил
- Проверка DataFrame (DataFrame validation)
- MIT
- Pandera community
CDC и репликацияАктивный
Qlik Replicate
инкрементальный перенос изменений без полного чтения источника
- Корпоративный CDC (enterprise CDC)
- Коммерческая лицензия (commercial)
- Qlik
ОркестрацияАктивный
Apache DolphinScheduler
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Планировщик рабочих процессов (workflow scheduler)
- Apache 2.0
- Apache Software Foundation
Качество данныхАктивный
Deequ
автоматические проверки полноты, уникальности, диапазонов и бизнес-правил
- Библиотека качества данных (data quality library)
- Apache 2.0
- AWS Labs
Качество данныхАктивный
Elementary
автоматические проверки полноты, уникальности, диапазонов и бизнес-правил
- Наблюдаемость dbt (dbt observability)
- Apache 2.0 / коммерческая лицензия (Apache 2.0 / commercial)
- Elementary
Интеграция и ELTАктивный
Estuary Flow
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Потоки данных в реальном времени (real-time data flows)
- Доступный исходный код и SaaS-сервис (source available / SaaS)
- Estuary
Наблюдаемость (observability) и происхождение данных (lineage)Активный
Marquez
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Сервис происхождения данных (lineage service)
- Apache 2.0
- Linux Foundation
Интеграция и ELTАктивный
StreamSets
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Платформа интеграции данных (data integration platform)
- Коммерческая лицензия (commercial)
- IBM
Наблюдаемость (observability) и происхождение данных (lineage)Активный
Bigeye
контроль свежести, объёма, схемы, происхождения и влияния сбоев
- Наблюдаемость данных (data observability)
- Коммерческий SaaS-сервис (commercial SaaS)
- Bigeye
Таблицы озёрного хранилища (Lakehouse tables)Активный
Project Nessie
надёжные таблицы поверх объектного хранилища и эволюция данных
- Каталог и версионирование данных (data catalog and versioning)
- Apache 2.0
- Dremio / community
Интеграция и ELTАктивный
Apache Hop
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Визуальная интеграция данных (visual data integration)
- Apache 2.0
- Apache Software Foundation
ТрансформацияАктивный
Coalesce
версионируемая подготовка моделей и витрин внутри хранилища
- Визуальное преобразование данных (visual data transformation)
- Коммерческий SaaS-сервис (commercial SaaS)
- Coalesce
Интеграция и ELTАктивный
Hevo Data
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Управляемый ELT (managed ELT)
- Коммерческий SaaS-сервис (commercial SaaS)
- Hevo
ОркестрацияАктивный
Luigi
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Фреймворк рабочих процессов на Python (Python workflow framework)
- Apache 2.0
- Spotify
Интеграция и ELTАктивный
Pentaho Data Integration
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Визуальный ETL (visual ETL)
- Apache 2.0 / коммерческая лицензия (Apache 2.0 / commercial)
- Hitachi Vantara
Интеграция и ELTАктивный
Singer
доставка данных из API, SaaS, файлов и баз в аналитический контур
- Спецификация коннекторов (connector specification)
- Apache 2.0
- Singer community
ОркестрацияАктивный
Apache Oozie
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Планировщик Hadoop (Hadoop scheduler)
- Apache 2.0
- Apache Software Foundation
ОркестрацияАктивный
Azkaban
управление зависимостями, расписанием, повторными запусками и дозагрузка истории (backfill)
- Менеджер пакетных рабочих процессов (batch workflow manager)
- Apache 2.0