НАЧАЛО >> Руководство пользователя >> Руководство администратора >> Основные настройки и действия >> Обработка записей-источников📄 Скачать в DOCX
Обработка записей-источников сводного каталога выполняется автоматически в фоновом режиме. Настройки этапов обработки находятся в параметрах модуля Сводный каталог.
Для большинства этапов задаются два общих параметра:
Значения по умолчанию доступны на странице параметров модуля: ?id=Help/Show&m=Help/Module/ConfigParameters&module=CSpider.
| Этап | Назначение |
|---|---|
CSpider/Stage0 |
Новые записи |
CSpider/Stage2 |
Изменившиеся записи |
CSpider/Stage3 |
Записи, для которых не требуется действий |
CSpider/Stage4 |
Записи с неуникальными идентификаторами |
CSpider/Stage5 |
Формальная проверка записей на корректность |
CSpider/Stage6 |
Обработка ошибки чтения записи из скачанного блока |
CSpider/Stage7 |
У записи изменился идентификатор |
CSpider/Stage8 |
Проверка записи со статусом 5 не пройдена |
CSpider/Stage9 |
Нормализация записей |
CSpider/Stage10 |
Сопоставление шифров номеров журналов для записей статей |
CSpider/Stage11 |
Поиск шифров записи общего описания журнала для поля 933 записей на номер журнала |
CSpider/Stage13 |
Поиск или создание соответствующей записи сводного каталога и дедубликация |
CSpider/Stage16 |
Поиск дублетной записи завершился с ошибкой |
CSpider/Stage18 |
Ошибка поиска записи в сводном каталоге |
CSpider/Stage21 |
Исходной записи давно не было в источнике |
CSpider/Stage28 |
Для записи NJ не найден шифр источника на общее описание журнала |
CSpider/Stage29 |
Для записи NJ найден шифр источника, но ещё не найден сводный шифр |
CSpider/Stage34 |
Для записи ASP не найдена запись-источник на номер журнала |
CSpider/Stage35 |
Для записи статьи определена запись верхнего уровня, но у неё ещё нет шифра сводной записи |
CSpider/Stage37 |
Новая запись типа RDR или RDRU |
Если связь источника со сводной записью нужна сразу в рамках текущего действия, используется технический сценарий Синхронная привязка записи к сводной. Он выполняет начальное слияние без ожидания фонового прохода, а затем переводит запись-источник на этап CSpider/Stage5.
CSpider/Stage9 готовит нормализованную копию записи-источника перед поиском или обновлением сводной записи. Эта копия хранится отдельно от исходной записи и используется следующими этапами слияния.
Для записей типа SPEC этап нормализует:
10^A, 11^A, 46^J, 46^X, 225^X, 421^I, 421^X, 422^I, 422^X, 451^I, 451^J, 452^I, 452^J, 454^I, 454^J, 461^I, 461^J, 481^I, 488^I;923^H;461^C;200^A.Для записей типа PAZK и PVK этап нормализует:
10^A, 11^A, 390^I, 225^X, 421^I, 421^X, 422^I, 422^X, 451^I, 451^J, 452^I, 452^J, 454^I, 454^J, 481^I, 488^I;923^H;200^A.Нормализация заглавий выполняет приведение строк через Normalisation::TextString: убирает лишние пробелы, выравнивает пробелы около знаков препинания и заменяет типографские кавычки на обычные двойные кавычки. Если исходное подполе пустое, этап его не добавляет.
В параметрах модуля Сводный каталог для этапа 9 можно задать списки полей, которые всегда исключаются из записи-источника перед слиянием. Значения указываются номерами полей через запятую, например 901,902,907. Если список оставить пустым, для этого типа записи не применяется дополнительное удаление полей.
| Параметр | Типы записей |
|---|---|
stage9RemoveSpec |
SPEC |
stage9RemovePazk |
PAZK, PVK |
stage9RemoveJ |
J |
stage9RemoveNJ |
NJ, NJP |
stage9RemoveASP |
ASP |
stage9RemoveRDR |
RDR, RDRU |
Если поле указано в списке для типа записи, оно удаляется из нормализованной записи-источника и не участвует в последующем формировании сводной записи. Это удобно для локальных, служебных и временных полей, которые нужны в базе-источнике, но не должны переноситься в сводный каталог.
До применения этих списков этап 9 также выполняет общую очистку служебных полей 111, 112, 113, 902, 943, 991, 992, 994. Исключение составляют повторения поля 113 с кодом AUTH: они сохраняются и возвращаются в запись после общей очистки.
Результат можно проверить на странице Проверка состояния записи-источника по шифру: в отчете отображаются исходная запись и нормализованная запись-источник.
Сводная БД выбирается по значению поля 920 записи-источника, которое сохраняется в столбце vrl таблицы слияний.
RDR и RDRU обрабатываются через сводную БД пользователей rdrdbn.Event обрабатывается через сводную БД мероприятий eventdbn.defaultdb.Для записей мероприятий на этапе 5 должен быть включен параметр useEVENT. Если он выключен, записи с 920=Event считаются неподдерживаемым типом и не переходят к штатной обработке.
На этапе 5 для мероприятий проверяются ключевые поля записи: шифр в 903, тип Event в 920, название в 972^A, дата начала публикации в 30^A и отсутствие признака пропуска публикации в 972^Y. На этапе 9 из записи мероприятия удаляется поле 113, а шифр в 903 нормализуется от лишних пробелов.
Если нужно проверить работу фоновых процессов или выполнить демонстрационный запуск, используйте таблицу слияний и состояние очереди задач. Панель таблицы слияний описана в разделе Таблица слияний.
Для штатного запуска сборки сводного каталога параметр "Приостановить создание сводного каталога" должен быть установлен в значение "нет".