Профилирование, тесты, сверки, контракты данных (data contracts), проверки качества (quality gates) и нарушения.
Проверка актуальности (Freshness check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Финансовая сверка (Financial reconciliation): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) для JSON: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Таблица ошибок (Error table): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Concept drift и конвейер (pipeline): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Аудит изменений правил: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Стратегия качества данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Система качества данных (Data quality framework): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Профилирование данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контракт качества данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Критические элементы данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Владелец правила качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Порог качества данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Severity проверки данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Блокирующая и предупреждающая проверка: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка полноты (Completeness check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка уникальности (Uniqueness check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка допустимости (Validity check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка согласованности (Consistency check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка точности (Accuracy check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка своевременности (Timeliness check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Аномалия объёма (Volume anomaly): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Изменение распределения (Distribution drift): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обнаружение изменения схемы (Schema drift detection): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка ссылочной целостности (Referential integrity check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка диапазона (Range check): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка регулярным выражением (Regex validation): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тест допустимых значений (Accepted values test): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тест обязательного значения (Not null test): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Обнаружение дублей (Duplicate detection): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тест первичного ключа (Primary key test): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тест внешнего ключа (Foreign key test): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тест бизнес-правила (Business rule test): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сверка между источниками (Cross-source reconciliation): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контрольные итоги (Control totals): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Итоги по хешам (Hash totals): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сверка числа строк (Row count reconciliation): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Балансовая сверка: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сверка API и DWH: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сверка CDC и snapshot: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сверка до и после миграции: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Набор проверок Great Expectations (Great Expectations suite): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверки Soda (Soda checks): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →dbt универсальные тесты (generic tests): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →dbt одиночные тесты (singular tests): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Набор проверок Deequ (Deequ verification suite): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Схема Pandera (Pandera schema): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) в Spark: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) в Kafka: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) в Airflow: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) в Dagster: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) в озёрное хранилище (lakehouse): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) для Формат Parquet (Parquet): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) для CSV: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество данных (Data quality) для тендеров: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка ИНН: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка ОГРН: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка ОКПД2: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка цены контракта: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка единиц измерения ОКЕИ: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка дат закупки: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка дублей тендеров: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка полноты документации: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Качество OCR-текста: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контроль языковой версии: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка PII: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка маскирования: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Карантин плохих данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Таблица отклонённых записей (Reject table): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Процесс исправления данных (Data repair workflow): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ручное исправление данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Автоматическое исправление данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Инцидент качества данных (Data quality incident): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →RCA инцидента качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Разбор инцидента с данными (Postmortem data incident): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оценка качества (Quality score): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оценка доверия к данным (Data trust score): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Оценка актуальности (Freshness score): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Панель качества данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Уведомления о качестве: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Шумные алерты качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Адаптивные пороги: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Сезонность в anomaly detection: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Малый объём и ложные аномалии: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Data drift или качество данных (data quality): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка перед публикацией: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка после публикации: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Проверка качества в CI/CD (Quality gate CI/CD): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Тестовые данные конвейер (pipeline): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Synthetic data для конвейер (pipeline) tests: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Эталонный набор данных (Golden dataset): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Регрессионный набор данных (Regression dataset): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контрактное тестирование производителя и потребителя (Contract testing producer consumer): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Контракты данных со стороны потребителя (Consumer-driven data contracts): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Совместимость схемы в CI: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →SLA качества данных (Data quality SLA): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Стоимость плохих данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Приоритизация debt качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Каталог правил качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Переиспользование проверок: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Версионирование правил качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Ответственность за качество данных (Data quality ownership): формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Data steward и инженер данных: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Управление исключениями качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Временный waiver правила: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →Доказательство восстановления качества: формализованная проверка и реакция на плохие данные, практическая схема реализации, контрольные точки и границы применения в промышленном конвейере данных (production data pipeline).
Открыть материал →