Раздел базы знаний

Потоковая обработка (streaming) и события

Kafka, Flink, окна, состояние, порядок событий, задержка потребителя (consumer lag) и повторное воспроизведение (replay).

Потоковая обработка (streaming) и события
Потоковая обработка (streaming) и событияРаздел базы знаний
ВсеПрактическое руководство 124
01
Практическое руководство

Изменение partition key

Изменение partition key: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
02
Практическое руководство

Flink обновление задания (Flink job upgrade)

Flink обновление задания (job upgrade): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
03
Практическое руководство

Совместимость схемы формат Avro (Schema compatibility Avro)

Совместимость схемы (Schema compatibility) Формат Avro (Avro): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
04
Практическое руководство

Уплотнение журнала Kafka (Log compaction Kafka)

Уплотнение журнала Kafka (Log compaction Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
05
Практическое руководство

Распределённый режим Kafka Connect (Kafka Connect distributed mode)

Распределённый режим Kafka Connect (Kafka Connect distributed mode): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
06
Практическое руководство

Уведомления о новых закупках

Уведомления о новых закупках: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
07
Практическое руководство

Качество потоковых данных (Stream data quality)

Качество потоковых данных (Stream data quality): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
08
Практическое руководство

Архитектура потоковая обработка (streaming) конвейер (pipeline)

Архитектура потоковая обработка (streaming) конвейер (pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
09
Практическое руководство

Промышленные настройки производителя Kafka (Kafka producer production settings)

Промышленные настройки производителя Kafka (Kafka producer production settings): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
10
Практическое руководство

Промышленные настройки потребителя Kafka (Kafka consumer production settings)

Промышленные настройки потребителя Kafka (Kafka consumer production settings): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
11
Практическое руководство

Идемпотентный producer Kafka

Идемпотентный producer Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
12
Практическое руководство

Транзакции Kafka (Kafka transactions)

Транзакции Kafka (Kafka transactions): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
13
Практическое руководство

Exactly-once в Kafka Streams

Exactly-once в Kafka Streams: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
14
Практическое руководство

Перебалансировка потребителей (Consumer rebalance)

Перебалансировка потребителей (Consumer rebalance): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
15
Практическое руководство

Кооперативная перебалансировка (Cooperative rebalancing)

Кооперативная перебалансировка (Cooperative rebalancing): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
16
Практическое руководство

Статическое членство Kafka (Static membership Kafka)

Статическое членство Kafka (Static membership Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
17
Практическое руководство

Контроль задержки потребителя (Consumer lag monitoring)

Контроль задержки потребителя (Consumer lag monitoring): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
18
Практическое руководство

Горячая партиция Kafka (Hot partition Kafka)

Горячая партиция Kafka (Hot partition Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
19
Практическое руководство

Выбор ключа партиционирования

Выбор ключа партиционирования: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
20
Практическое руководство

Увеличение числа партиций

Увеличение числа партиций: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
21
Практическое руководство

Порядок событий по ключу

Порядок событий по ключу: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
22
Практическое руководство

Обработка повторных событий

Обработка повторных событий: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
23
Практическое руководство

Дедупликация потоковых событий (Deduplication stream events)

Дедупликация потоковых событий (Deduplication stream events): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
24
Практическое руководство

Потоковая обработка с состоянием (Stateful stream processing)

Потоковая обработка с состоянием (Stateful stream processing): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
25
Практическое руководство

Потоковая обработка без состояния (Stateless stream processing)

Потоковая обработка без состояния (Stateless stream processing): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
26
Практическое руководство

Оконная агрегация (Window aggregation)

Оконная агрегация (Window aggregation): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
27
Практическое руководство

Неперекрывающееся окно (Tumbling window)

Неперекрывающееся окно (Tumbling window): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
28
Практическое руководство

Скользящее окно (Sliding window)

Скользящее окно (Sliding window): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
29
Практическое руководство

Сеансовое окно (Session window)

Сеансовое окно (Session window): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
30
Практическое руководство

Окно по времени события (Event-time window)

Окно по времени события (Event-time window): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
31
Практическое руководство

Watermarks во Flink

Watermarks во Flink: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
32
Практическое руководство

Допустимое опоздание (Allowed lateness)

Допустимое опоздание (Allowed lateness): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
33
Практическое руководство

Боковой вывод поздних событий (Side output late events)

Боковой вывод поздних событий (Side output late events): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
34
Практическое руководство

Хранилище состояния Flink (State backend Flink)

Хранилище состояния (State backend) Flink: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
35
Практическое руководство

Контрольная точка Flink (Checkpoint Flink)

Контрольная точка (Checkpoint) Flink: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
36
Практическое руководство

Точка сохранения Flink (Savepoint Flink)

Точка сохранения (Savepoint) Flink: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
37
Практическое руководство

Flink обратное давление (Flink backpressure)

Flink обратное давление (backpressure): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
38
Практическое руководство

Flink бездействие отметки времени (Flink watermark idleness)

Flink бездействие отметки времени (watermark idleness): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
39
Практическое руководство

Flink приёмник с семантикой ровно одного раза (Flink exactly-once sink)

Flink приёмник с семантикой ровно одного раза (exactly-once sink): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
40
Практическое руководство

Kafka Streams хранилище состояния (Kafka Streams state store)

Kafka Streams хранилище состояния (state store): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
41
Практическое руководство

KsqlDB конвейер (ksqlDB pipeline)

ksqlDB конвейер (pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
42
Практическое руководство

Spark Structured потоковая обработка (Spark Structured Streaming)

Spark Structured Потоковая обработка (Streaming): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
43
Практическое руководство

Триггер availableNow (Trigger availableNow)

Триггер availableNow (Trigger availableNow): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
44
Практическое руководство

Соединение двух потоков (Stream-stream join)

Соединение двух потоков (Stream-stream join): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
45
Практическое руководство

Соединение потока и таблицы (Stream-table join)

Соединение потока и таблицы (Stream-table join): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
46
Практическое руководство

Временное соединение (Temporal join)

Временное соединение (Temporal join): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
47
Практическое руководство

Обогащение (Enrichment) потока справочником

Обогащение (Enrichment) потока справочником: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
48
Практическое руководство

Широковещательное состояние (Broadcast state)

Широковещательное состояние (Broadcast state): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
49
Практическое руководство

Поток журнала изменений (Change log stream)

Поток журнала изменений (Change log stream): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
50
Практическое руководство

Обёртка события CDC (CDC event envelope)

Обёртка события CDC (CDC event envelope): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
51
Практическое руководство

Debezium метаданные транзакции (Debezium transaction metadata)

Debezium метаданные транзакции (transaction metadata): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
52
Практическое руководство

Маршрутизатор исходящих событий (Outbox Event Router)

Маршрутизатор исходящих событий (Outbox Event Router): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
53
Практическое руководство

Backward compatibility схемы

Backward compatibility схемы: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
54
Практическое руководство

Forward compatibility схемы

Forward compatibility схемы: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
55
Практическое руководство

Full compatibility схемы

Full compatibility схемы: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
56
Практическое руководство

Несовместимое изменение схемы (Breaking schema change)

Несовместимое изменение схемы (Breaking schema change): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
57
Практическое руководство

Миграция формата события

Миграция формата события: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
58
Практическое руководство

Версионирование топиков Kafka

Версионирование топиков Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
59
Практическое руководство

Тема для каждого типа события (Topic per event type)

Тема для каждого типа события (Topic per event type): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
60
Практическое руководство

Тема для каждого клиента (Topic per tenant)

Тема для каждого клиента (Topic per tenant): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
61
Практическое руководство

Многоклиентский Kafka (Multi-tenant Kafka)

Многоклиентский Kafka (Multi-tenant Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
62
Практическое руководство

Списки контроля доступа ACL в Kafka (ACL Kafka)

Списки контроля доступа ACL в Kafka (ACL Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
63
Практическое руководство

Шифрование Kafka

Шифрование Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
64
Практическое руководство

Взаимная проверка TLS (mTLS) в Kafka (mTLS Kafka)

взаимная проверка TLS (mTLS) в Kafka (mTLS Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
65
Практическое руководство

Аутентификация SASL/SCRAM в Kafka (SASL SCRAM Kafka)

Аутентификация SASL/SCRAM в Kafka (SASL SCRAM Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
66
Практическое руководство

Аутентификация OAuth в Kafka (OAuth Kafka)

Аутентификация OAuth в Kafka (OAuth Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
67
Практическое руководство

Квоты Kafka (Kafka quotas)

Квоты Kafka (Kafka quotas): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
68
Практическое руководство

Планирование хранения Kafka (Kafka retention planning)

Планирование хранения Kafka (Kafka retention planning): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
69
Практическое руководство

Маркер удаления Kafka (Tombstone Kafka)

Маркер удаления Kafka (Tombstone Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
70
Практическое руководство

Уровневое хранение Kafka (Tiered storage Kafka)

Уровневое хранение Kafka (Tiered storage Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
71
Практическое руководство

MirrorMaker 2

MirrorMaker 2: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
72
Практическое руководство

Связывание кластеров (Cluster Linking)

Связывание кластеров (Cluster Linking): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
73
Практическое руководство

Мультирегиональный Kafka (Multi-region Kafka)

Мультирегиональный Kafka (Multi-region Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
74
Практическое руководство

Аварийное восстановление Kafka (Disaster recovery Kafka)

Аварийное восстановление Kafka (Disaster recovery Kafka): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
75
Практическое руководство

Активно-активная потоковая обработка (Active active streaming)

Активно-активная потоковая обработка (Active active streaming): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
76
Практическое руководство

Активно-пассивная потоковая обработка (Active passive streaming)

Активно-пассивная потоковая обработка (Active passive streaming): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
77
Практическое руководство

Pulsar или Kafka

Pulsar или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
78
Практическое руководство

Redpanda или Kafka

Redpanda или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
79
Практическое руководство

NATS или Kafka

NATS или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
80
Практическое руководство

RabbitMQ или Kafka

RabbitMQ или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
81
Практическое руководство

Kinesis или Kafka

Kinesis или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
82
Практическое руководство

Yandex Data Streams или Kafka

Yandex Data Streams или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
83
Практическое руководство

Pub/Sub или Kafka

Pub/Sub или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
84
Практическое руководство

Event Hubs или Kafka

Event Hubs или Kafka: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
85
Практическое руководство

Очередь необработанных сообщений Kafka Connect (Dead letter queue Kafka Connect)

Очередь необработанных сообщений Kafka Connect (Dead letter queue Kafka Connect): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
86
Практическое руководство

Преобразования отдельных сообщений (Single message transforms)

Преобразования отдельных сообщений (Single message transforms): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
87
Практическое руководство

Контроль ошибок коннектор-приёмник (sink connector)

Контроль ошибок коннектор-приёмник (sink connector): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
88
Практическое руководство

Повторное воспроизведение (Replay) топика в новый consumer

Повторное воспроизведение (Replay) топика в новый consumer: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
89
Практическое руководство

Reprocessing без влияния на промышленная эксплуатация (production)

Reprocessing без влияния на промышленная эксплуатация (production): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
90
Практическое руководство

Теневой потребитель (Shadow consumer)

Теневой потребитель (Shadow consumer): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
91
Практическое руководство

Канареечный потребитель (Canary consumer)

Канареечный потребитель (Canary consumer): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
92
Практическое руководство

Конвейер выявления мошенничества в реальном времени (Real-time fraud pipeline)

Конвейер выявления мошенничества в реальном времени (Real-time fraud pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
93
Практическое руководство

Конвейер рекомендаций в реальном времени (Real-time recommendations pipeline)

Конвейер рекомендаций в реальном времени (Real-time recommendations pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
94
Практическое руководство

Конвейер запасов в реальном времени (Real-time inventory pipeline)

Конвейер запасов в реальном времени (Real-time inventory pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
95
Практическое руководство

Профиль клиента 360 в реальном времени (Real-time customer 360)

Профиль клиента 360 в реальном времени (Real-time customer 360): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
96
Практическое руководство

В реальном времени (Real-time) логистика

В реальном времени (Real-time) логистика: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
97
Практическое руководство

В реальном времени (Real-time) мониторинг цен

В реальном времени (Real-time) мониторинг цен: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
98
Практическое руководство

В реальном времени (Real-time) обработка тендеров

В реальном времени (Real-time) обработка тендеров: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
99
Практическое руководство

Поток обновлений организаций

Поток обновлений организаций: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
100
Практическое руководство

Поток изменений контрактов

Поток изменений контрактов: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
101
Практическое руководство

Потоковая обработка (Streaming) ETL в ClickHouse

Потоковая обработка (Streaming) ETL в ClickHouse: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
102
Практическое руководство

Kafka в S3 Формат Parquet (Parquet)

Kafka в S3 Формат Parquet (Parquet): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
103
Практическое руководство

Kafka в Iceberg

Kafka в Iceberg: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
104
Практическое руководство

Kafka в PostgreSQL

Kafka в PostgreSQL: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
105
Практическое руководство

PostgreSQL в Kafka через CDC

PostgreSQL в Kafka через CDC: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
106
Практическое руководство

Kafka в Elasticsearch

Kafka в Elasticsearch: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
107
Практическое руководство

Kafka в OpenSearch

Kafka в OpenSearch: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
108
Практическое руководство

Kafka в Redis

Kafka в Redis: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
109
Практическое руководство

Event-driven microservices и аналитика

Event-driven microservices и аналитика: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
110
Практическое руководство

Конвейер телеметрии (Telemetry pipeline)

Конвейер телеметрии (Telemetry pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
111
Практическое руководство

OpenTelemetry конвейер событий (OpenTelemetry events pipeline)

OpenTelemetry конвейер событий (events pipeline): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
112
Практическое руководство

Поток аудита безопасности

Поток аудита безопасности: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
113
Практическое руководство

Неизменяемый журнал аудита (Immutable audit log)

Неизменяемый журнал аудита (Immutable audit log): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
114
Практическое руководство

PII в событиях

PII в событиях: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
115
Практическое руководство

Токенизация потоковых данных (Tokenization streaming data)

Токенизация потоковых данных (Tokenization streaming data): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
116
Практическое руководство

Data loss prevention в потоке

Data loss prevention в потоке: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
117
Практическое руководство

Schema validation на producer

Schema validation на producer: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
118
Практическое руководство

Schema validation на consumer

Schema validation на consumer: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
119
Практическое руководство

Автомасштабирование по задержке (Lag-based autoscaling)

Автомасштабирование по задержке (Lag-based autoscaling): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
120
Практическое руководство

Сквозное обратное давление (Backpressure end-to-end)

Сквозное обратное давление (Backpressure end-to-end): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
121
Практическое руководство

Сброс нагрузки (Load shedding)

Сброс нагрузки (Load shedding): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
122
Практическое руководство

Шторм повторного воспроизведения (Replay storm)

Шторм повторного воспроизведения (Replay storm): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
123
Практическое руководство

Poison pill в consumer

Poison pill в consumer: событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →
124
Практическое руководство

Плавная деградация потоковой обработки (Graceful degradation streaming)

Плавная деградация потоковой обработки (Graceful degradation streaming): событийная обработка с порядком, состоянием и повторное воспроизведение (replay), практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).

Открыть материал →