Роль в конвейере данных
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика
Сильные стороны
устойчивая доставка, масштабирование по партициям и развязка производителей и потребителей
| Категория | Потоковая обработка (streaming) и брокеры |
|---|---|
| Тип | Управляемая потоковая обработка (managed streaming) |
| Вендор / сообщество | Yandex Cloud |
| Лицензия | Коммерческое облако (commercial cloud) |
| Развёртывание | Собственное развёртывание или облако (self-hosted / cloud) |
| Надёжность | Надёжность зависит от режима доставки, контрольная точка (checkpoint), повторная попытка (retry) и идемпотентности потребителей. |
| Эксплуатация | Для промышленной эксплуатации (production) нужны метрики, алерты, резервирование метаданных, процедура обновления и проверенный повторное воспроизведение (replay). |
Типовые сценарии
событийные системы, в реальном времени (real-time) интеграция, журнал изменений и потоковая аналитика; потоковая обработка (streaming) и брокеры; конвейер (pipeline), где нужен управляемая потоковая обработка (managed streaming).
Ограничения
порядок, exactly-once и повторная обработка имеют конкретные границы
Проверка перед промышленной эксплуатацией (production)
- Сверьте текущую лицензию и поддержку нужной версии.
- Реализуйте один небольшой конвейер (pipeline) на репрезентативной дельте.
- Проверьте дубли, пропуски, изменение схемы (schema drift) и ограничение нагрузки.
- Разыграйте повторную попытку (retry), воспроизведение (replay), дозагрузку истории (backfill) и потерю контрольной точки (checkpoint).
- Оцените метрики, оповещения, обновления, безопасность и ручной труд.
Официальный источник: yandex.cloud ↗