---

[I128-2749] Шардированная нормализация записей Stage 9 в CSpider

---

НАЧАЛО >> Оглавление >> Общее описание >> История изменений >> Что нового в проекте I128 >> Версия 2026.3 >> [I128-2749] Шардированная нормализация записей Stage 9 в CSpider📄 Скачать в DOCX

---

Тип	Версия	Статус	Приоритет	Исполнитель
⚙️ Новые возможности	2026.3	🔘 Завершено	Средний	Ilya Mikhaylenko

Компоненты: ИРБИС 128. Модуль CSpider - Сводный каталог

Завершено: 31.08.2026 20:49

Ценность Администраторы сводного каталога быстрее нормализуют большие массивы записей без последовательной обработки всей очереди одним заданием.

Сценарий CSpider запускает Stage 9 отдельно для каждой клиентской БД и корзины BLOB, параллельно обрабатывая независимые части набора записей.

Совместимость Правила нормализации, форматы записей и настройки удаления полей сохраняются; существующий запуск Stage 9 остаётся доступен через тот же action.

-

Задача I128-2749 распараллеливает нормализацию Stage 9 по клиентским БД и корзинам BLOB. PR предназначен для develop и не зависит от других веток этой серии.

Куда смотреть:

• В интерфейсе отдельного пользовательского изменения нет. Техническая точка: фоновые процессы CSpider/QueueMonitor и CSpider/Stage9.
• QueueMonitor теперь всегда ставит видимое координаторское задание CSpider/Stage9, поэтому 9 этап не пропадает из монитора очереди.
• Координатор Stage9 находит БД с записями stage=9 и ставит workerзадания для каждой пары БД/корзины BLOB. Workerзадание обрабатывает только свой shard без обязательного полного подсчета очереди.
• Настройки для сценария: новые настройки не требуются; правила удаления полей Stage 9 используются без изменений.
• Chrome: не подтверждено, потому что изменение относится к фоновой нормализации без отдельного UI.
• Help: Help не применим: изменена внутренняя организация фоновой нормализации.

Изменения по файлам:

modules/CSpider/Actions/QueueMonitor.inc

• Ставит координаторское задание CSpider/Stage9 при включенном Stage 9.
• Задание остается видимым в очереди даже до появления конкретных shard-задач.

modules/CSpider/Actions/Stage9.inc

• В режиме координатора формирует задания по БД и корзинам.
• В режиме worker принимает БД и номер корзины, ограничивает ими выборку и выполняет нормализацию конкретного shard.
• Поддерживает legacy-строки без dbn, извлекая имя БД из sh.
• Сохраняет существующие правила подготовки типов записей.

modules/CSpider/api.php

• Добавлены общие helperфункции для BLOBхранилищ, вычисления корзины и чтения/записи BLOB по строке f902.
• Сохранен fallback чтения из старого общего BLOB-хранилища для уже существующих данных.

modules/CSpider/__call/GetBlob.inc, SetBlob.inc, GetNextCounter.inc, SqlBatch.inc

• Переведены на общий BLOB-helper слой.
• SqlBatch пишет BLOBданные до публикации ссылок в f902 и поддерживает пакетную запись в несколько BLOBstore.

modules/CSpider/__call/ForEachRecordRow.inc

• Поддерживает обработку без предварительного полного подсчета записей.
• Корректно обновляет прогресс для ограниченной выборки.

modules/CSpider/__call/GetRecordBlock.inc, GetRecordCount.inc

• Регистрируют csp*blob*bucket для согласованной выборки и подсчета shard-записей.

-

• I128-2740: Исправить контракты DP_Irbis64Direct
• I128-2749: шардированная нормализация записей Stage 9
• I128-2740: Вернул морфологические параметры IrbisFreeSearch
• I128-2749: вернуть Stage 9 в монитор очереди