Пример настройки Ollama

НАЧАЛО >> Документация модуля AI >> Настройка локальной модели AI >> Пример настройки Ollama📄 Скачать в DOCX

Этот пример описывает локальный provider ollama-local, работающий через OpenAI-compatible endpoint http://127.0.0.1:11434/v1. В качестве модели используется Qwen 3 0.6B с тегом Ollama qwen3:0.6b.

Если в вашей установке используется другая модель Qwen, замените только значение поля "ID модели" и соответствующий modelId в JSON-проверке.

1. 1. Подготовить локальный runtime

Перед настройкой ИРБИС 128 убедитесь, что Ollama запущена на сервере или на доступном внутреннем узле, а нужная модель установлена и видна локальному runtime.

Минимальная проверка на стороне Ollama:

ollama pull qwen3:0.6b
ollama run qwen3:0.6b

Endpoint должен быть доступен с сервера, где работает веб-приложение. Для закрытого контура не публикуйте endpoint наружу и не включайте внешний provider. Ollama в этом сценарии считается локальным runtime, а не внешней моделью.

2. 2. Настроить модуль AI

В настройках модуля AI:

Поле в АРМ Администратор	Значение
Включить модуль AI	Включить после диагностики
Разрешить внешние модели	Выключено
Разрешить локальные модели	Включено
Класс данных по умолчанию	`internal`
OpenAI-compatible endpoint локальной среды	`http://127.0.0.1:11434/v1`

Для первой проверки можно оставить поле "Включить модуль AI" выключенным и выполнять AI/Ask с флагом "диагностический режим".

3. 3. Создать или проверить provider

Откройте кнопку "Поставщики AI" и создайте запись:

Поле в АРМ Администратор	Значение
Идентификатор	`ollama-local`
Название	`Ollama local runtime`
Тип	`OpenAI-compatible`
Включен	Включено
Endpoint	`http://127.0.0.1:11434/v1`
Внешний provider	Выключено
Локальный provider	Включено
Доступен offline	Включено
Тип стоимости	`Внутренний`
Уровень стоимости	`0`

В группе "Возможности":

"Текст": включено;
"JSON": включено, если выбранная модель стабильно возвращает JSON по инструкции;
"Streaming": можно включить, если runtime используется в streaming-сценариях;
"Tools", "Embeddings", "Images": включайте только при подтвержденной поддержке.

В группе "Runtime-параметры" можно добавить строки:

Параметр	Значение	Тип
`kind`	`ollama`	`Строка`
`modelsEndpoint`	`/models`	`Строка`

В группе "Требования к локальному запуску" задайте требования по реальной установке. Для базового профиля Qwen 3 0.6B можно указать CPU как обязательный, GPU как "Желателен", минимум RAM и свободного места на диске по внутреннему регламенту установки.

4. 4. Создать модель Qwen 3 0.6B

Откройте кнопку "Модели AI" и создайте запись:

Поле в АРМ Администратор	Значение
Идентификатор поставщика	`ollama-local`
ID модели	`qwen3:0.6b`
Название	`Qwen 3 0.6B local`
Включена	Включено
Внешняя модель	Выключено
Локальная модель	Включено
Доступна offline	Включено
Тип стоимости	`Внутренняя`
Уровень стоимости	`0`
Качество	`2`
Контекст	`40000`

В группе "Возможности модели":

"Текст": включено;
"JSON": включено для сценариев, которые ожидают структурированный ответ;
"Streaming": включайте только если реально используется;
остальные возможности оставьте выключенными до отдельной проверки.

ID модели должен совпадать с именем модели в локальном runtime. Если в runtime модель называется иначе, маршрутизация выберет запись, но вызов provider завершится ошибкой.

5. 5. Проверить маршрутизацию

Откройте AI/Diagnostics и выполните подбор модели:

{
  "policy": "scenario_fixed",
  "providerId": "ollama-local",
  "modelId": "qwen3:0.6b",
  "requiredCapabilities": ["text", "json"]
}

Успешный результат должен содержать:

ok: true;
selection.providerId: ollama-local;
selection.modelId: qwen3:0.6b;
selection.external: false;
selection.local: true;
selection.offline: true.

Если в fallbackChain есть modelMismatch, проверьте поле "ID модели". Если есть missingCapability:json, включите возможность "JSON" или уберите ее из запроса.

6. 6. Проверить реальный ответ

Откройте AI/Ask.

В настройках модуля AI, группа "Страница AI/Ask", задайте "Политика по умолчанию" = offline_only.
Для первой проверки включите "Диагностический режим по умолчанию", если поле "Включить модуль AI" еще выключено.
Включите "Dry-run по умолчанию", откройте AI/Ask и отправьте короткий prompt.
Если выбран правильный provider/model, выключите "Dry-run по умолчанию".
Включите "Сетевой вызов по умолчанию".
На странице AI/Ask отправьте короткий prompt, например вопрос о назначении системы.

Если включены несколько локальных моделей, AI/Ask выбирает модель по политике маршрутизации. Для проверки конкретной модели используйте AI/Diagnostics с providerId и modelId или временно отключите остальные кандидаты.

7. 7. Если нужна другая Qwen-модель

Для другой Qwen-модели оставьте provider ollama-local, но создайте отдельную запись в "Модели AI".

Поле в АРМ Администратор	Пример значения
Идентификатор поставщика	`ollama-local`
ID модели	`qwen3:4b`, `qwen3:8b`, `qwen3:14b` или другой установленный тег
Название	Понятное название модели
Контекст	Контекст выбранного тега, если известен

Значение "ID модели" всегда должно совпадать с тем, что принимает Ollama. Не используйте маркетинговое название модели вместо фактического тега runtime.

8. 8. Типовые ошибки

Ошибка	Причина и действие
`AI_MODEL_NOT_AVAILABLE`	Provider/model выключены, выключен "Разрешить локальные модели" или не совпали возможности
`AI_PROVIDER_NETWORK_DISABLED`	Для реального OpenAI-compatible вызова не включен флаг "сетевой вызов"
Ошибка доступности endpoint	Проверьте, что Ollama запущена и endpoint доступен с веб-сервера
Ответ не JSON	Не включайте возможность "JSON" для модели, пока она не проходит проверку структурированного ответа
Выбрана не та модель	Уточните `providerId`/`modelId` через `ResolveModel` или отключите другие local-кандидаты

9. После успешной проверки

Если модель должна использоваться пользователями, включите поле "Включить модуль AI" и проверьте AI/Ask без диагностического режима. Для сценария с ИМИДЖ-черновиками отдельно проверьте кнопку "AI-черновик" и модальное окно текущей операции в АРМ Каталогизатор, потому что изменение исходной записи всегда требует ручного подтверждения.

Меню