Процессы обработки документов

НАЧАЛО >> Электронная библиотека >> Руководство пользователя >> Процессы обработки документов📄 Скачать в DOCX

После загрузки документа (создания объекта полного текста) система запускает каскад асинхронных фоновых задач через системную очередь (Queue). Полный цикл обработки включает следующие этапы:

1. Запуск обработки и связывание (IndexDocument)

Процесс стартует с задачи IndexDocument. На этом этапе система:

Связывает документ с каталогом: Выполняется подзадача AppendFTUrlToBookRecord, которая автоматически добавляет или обновляет прямую ссылку на полный текст (создает подполе 951^I) в связанной библиографической записи ИРБИС.
Ставит документ в очередь на определение формата.

2. Автоматическое определение формата (DetectSourceFormat)

Система выполняет глубокий анализ заголовка файла (Magic Bytes) и автоматически назначает тип логического вьювера (Paged, Image, Audio, Video, Binary), игнорируя возможно неверное расширение файла. Затем инициируется процесс подготовки документа к просмотру.

3. Подготовка документа для просмотра (PrepareViewer)

На этом этапе происходит основная техническая подготовка ресурса для его быстрой отрисовки в браузере пользователя:

Многостраничные документы (Paged): Страницы документа (PDF) растрируются (нарезаются на отдельные изображения) с созданием миниатюр. Из документа извлекается скрытый текстовый слой и точные координаты каждого слова (используются для подсветки результатов поиска во вьювере).
Офисные документы (DOCX, XLSX, PPTX): Предварительно конвертируются в формат PDF, после чего обрабатываются как многостраничные документы.
Изображения (Image): Генерируются миниатюры предпросмотра. В зависимости от глобальных настроек, изображение может быть отмасштабировано, а также защищено водяным знаком (watermark). Извлекаются EXIF-данные (например, дата съемки, ориентация кадра).
Медиафайлы (Audio / Video): Выполняется первичный сбор метаданных (разрешение, длительность) и извлечение кадров (постеров) для видео. Основная тяжелая обработка передается на этап ExecFFMPEG.
Бинарные файлы (Binary): Архивы и проприетарные форматы не подвергаются конвертации. Система подготавливает базовые метаданные для интерфейса безопасного скачивания (Binary View).

Конвертация офисных форматов осуществляется либо через установленный на сервере Microsoft Office (использование COM-объектов), либо через универсальный конвертер Pandoc. Администратор может задать предпочтительный метод конвертации в настройках модуля.

Примечание: При использовании конвертера Pandoc в случае сбоя система может отображать технические сообщения, например: «Исполняемый файл pandoc не найден в системе» или «Ошибка конвертации файла». В таких случаях необходимо обратиться к администратору системы для проверки конфигурации сервера.

3.1. OCR (Распознавание текста)

Если загруженный PDF-документ не содержит текстового слоя (представляет собой набор сканированных изображений), система автоматически запускает процесс оптического распознавания (задача OCRTesseract).

Tesseract OCR: Встроенный бесплатный инструмент. Языки распознавания выбираются автоматически на основе поля 101 библиографической записи.
ABBYY Hot Folder: Профессиональное решение. При интеграции система копирует файлы во "входящую" папку ABBYY и ожидает результат в "исходящей".
Результат: Извлеченный текст, а также сформированные координаты слов, сохраняются в хранилище документа (файл idx.txt и папка coord). Они используются для полнотекстового поиска и подсветки слов во вьювере.

4. Обновление поискового индекса (UpdateIrbisFTIndex)

Завершающий этап работы с текстом. После того как текст извлечен (напрямую из PDF или с помощью OCR) и сохранен в файл idx.txt, система передает его на сервер ИРБИС 64. В библиографической записи обновляется служебное поле 1289. Это интегрирует полный текст в основную базу данных, позволяя читателям находить документ через стандартную поисковую строку электронного каталога.

5. Обработка медиафайлов (ExecFFMPEG)

Для аудио- и видеоматериалов система использует серверную утилиту FFMPEG (задачи ExecFFMPEGV и ExecFFMPEGA) для подготовки файлов к воспроизведению в веб-интерфейсе. Этот процесс, как правило, запускается автоматически после загрузки медиафайла и может включать в себя:

Конвертацию в веб-форматы: Исходные файлы конвертируются в форматы, оптимальные для проигрывания в браузере (например, MP3 для аудио, MP4 для видео).
Подготовку к адаптивному стримингу: Для видео могут создаваться несколько версий файла с разным разрешением (например, 480p, 720p, 1080p). Затем запускается задача GenerateDashManifest, которая формирует манифест для плеера, позволяя ему автоматически подбирать наилучшее качество потока в зависимости от скорости интернет-соединения пользователя (технология DASH/HLS).
Извлечение аудиодорожки и транскрибация: Из видеофайлов может быть извлечена звуковая дорожка для последующей передачи в систему распознавания речи. В зависимости от выбранного сервиса FT использует подготовленный файл forTranscribation.wav для локального Whisper или forTranscribation.ogg для Yandex Speech API; запуск выполняется через действие FT/Transcribe.