TenderDataHub × Data Pipeline

Закупочные данные для конвейера (pipeline)

Программный интерфейс (API) для оперативной интеграции, историческая выгрузка для начальной загрузки (bootstrap) и регулярная дельта. Подходит для SaaS, аналитики, машинного обучения (ML), скоринга и витрин.

TenderDataHub для конвейера данных
TenderDataHub для конвейера данныхAPI, история и регулярная дельта

Три режима поставки

РежимКогда подходитКлючевые контроли
APIпоиск, карточки и точечное обогащениелимиты, повторная попытка (retry), кэш, журнал запросов
Историческая выгрузканачальная загрузка (bootstrap) хранилища данных (DWH), озёрного хранилища (lakehouse), SaaS и машинного обучения (ML)манифест, контрольные суммы (checksums), партиции, сверка
Регулярная дельтаежедневное или более частое обновлениеотметка окна (watermark), идемпотентность (idempotency), удаления и дозагрузка истории (backfill)

Какие данные доступны

Тендеры РФ

44‑ФЗ, 223‑ФЗ, коммерческие и малые закупки, товарные позиции.

Иностранные тендеры и RFQ

Многоязычные объявления и запросы предложений стран мира.

Контракты и продукция

Суммы, сроки, поставщики, позиции, КТРУ, ОКПД2 и исторические цены.

Организации

Реквизиты, контакты ЕИС, роли, активность и риск‑события.

Победители и участники

Протоколы, предложения, цены и связи организаций.

Торги и банкротство

Имущество, земля, недвижимость, транспорт и оборудование.

ФАС, РНП и жалобы

Комплаенс, проверка контрагентов и риск‑модели.

Документация

Исходные файлы, распознанный текст и метаданные.

Сквозная архитектура

API / ParquetЗона приёма и манифест (landing + manifest)Неизменяемый необработанный слой (raw)Нормализация и качествоПродукты данных (data products)

Первичная история и дельта должны проходить одним набором правил. Каждая поставка получает идентификатор, временное окно, контрольную сумму (checksum), число записей и статус публикации. Повторная обработка не создаёт дубли.

Контроли промышленной эксплуатации (production)

КонтрольРеализацияЧто предотвращает
Отметка окна (watermark)отдельная таблица подтверждённых оконпропуск или двойную загрузку дельты
Идемпотентность (idempotency)устойчивый бизнес-ключ (business key) и версия записидубли при повторной попытке (retry)
Сверка (reconciliation)число строк (row count), контрольные суммы и бизнес‑агрегатытихую неполноту
Карантин (quarantine)плохие записи не публикуются, но сохраняютсяпотерю материала для разбора
Наблюдаемость (observability)актуальность (freshness), объём, схема, ошибки и стоимостьпозднее обнаружение инцидента

Пример: профиль поставщика

  1. Загрузить организации и устойчивые идентификаторы.
  2. Присоединить участия, победы, контракты и товарные позиции.
  3. Добавить ФАС, РНП и жалобы как версионируемые события.
  4. Проверить полноту по периодам и регионам.
  5. Опубликовать продукт данных (data product) с датой среза и происхождением (lineage).

Что указать в запросе

Перечислите сущности, период, страны или регионы, формат, частоту обновления, ожидаемый объём, способ использования и требования лицензии. Для SaaS отдельно опишите публичную выдачу и необходимость постоянной дельты.

Следующий шаг: запросите репрезентативный пример, прогоните его через тот же код, который будет обрабатывать историю и дельту, затем намеренно повторите загрузку и проверьте отсутствие дублей.