Пример настройки локального OpenAI-compatible runtime

НАЧАЛО >> Документация модуля AI >> Настройка локальной модели AI >> Пример настройки локального OpenAI-compatible runtime📄 Скачать в DOCX

Этот пример подходит для локального runtime, который предоставляет API, совместимый с OpenAI Chat Completions, по адресу вида http://127.0.0.1:<порт>/v1 или http://<локальный-сервер>:<порт>/v1. Конкретный runtime может быть любым, если он принимает запросы в ожидаемом формате и не требует передачи данных во внешнее облако.

1. 1. Определить endpoint и model id

До настройки ИРБИС 128 нужно знать:

Если runtime расположен на другом узле локальной сети, endpoint должен быть доступен только из защищенного внутреннего контура. Не помечайте такой provider как внешний, если данные не покидают контролируемую инфраструктуру организации.

2. 2. Настроить provider

Откройте "Поставщики AI" и создайте запись:

Поле в АРМ Администратор Значение
Идентификатор local-openai-compatible или другой стабильный ID
Название Понятное название локального runtime
Тип OpenAI-compatible
Включен Включено
Endpoint Endpoint runtime, например http://127.0.0.1:1234/v1
Внешний provider Выключено
Локальный provider Включено
Доступен offline Включено
Тип стоимости Внутренний
Уровень стоимости 0

В группе "Возможности" задайте минимальный подтвержденный набор. Для обычного текстового запроса достаточно "Текст" и "JSON". Не включайте "Tools", "Embeddings", "Images" или "Streaming" только потому, что они есть в интерфейсе: эти признаки должны соответствовать реальной поддержке runtime и модели.

Если runtime поддерживает список моделей, в группе "Runtime-параметры" можно указать:

Параметр Значение Тип
modelsEndpoint /models Строка

3. 3. Настроить модель

Откройте "Модели AI" и создайте запись:

Поле в АРМ Администратор Значение
Идентификатор поставщика ID provider из записи "Поставщики AI"
ID модели Точный ID модели в runtime
Название Понятное название модели
Включена Включено
Внешняя модель Выключено
Локальная модель Включено
Доступна offline Включено
Тип стоимости Внутренняя
Уровень стоимости 0
Контекст Размер контекста, если известен

В группе "Возможности модели" включите только то, что проверено. Если сценарии требуют структурированный ответ, отдельно проверьте "JSON". Если модель не держит JSON-формат, оставьте "JSON" выключенным и не используйте ее для сценариев, которым нужен структурированный draft.

4. 4. Настроить AI

В настройках модуля AI:

  1. Включите "Разрешить локальные модели".
  2. Оставьте "Разрешить внешние модели" выключенным.
  3. Укажите "OpenAI-compatible endpoint локальной среды", если этот runtime должен быть локальным endpoint по умолчанию.
  4. Оставьте "Класс данных по умолчанию" равным internal.
  5. Проверьте лимиты prompt/system/max tokens.

Поле "Включить модуль AI" можно включать только после успешной диагностики. До этого используйте "диагностический режим" на страницах AI.

5. 5. Проверить через Diagnostics

Откройте AI/Diagnostics.

Сначала выполните проверку provider. Она не делает сетевой вызов и показывает, как профиль прочитан модулем.

Затем выполните ResolveModel:

{
  "policy": "scenario_fixed",
  "providerId": "local-openai-compatible",
  "modelId": "local-model-id",
  "requiredCapabilities": ["text", "json"]
}

Замените local-model-id на фактический ID модели. Если JSON не нужен, оставьте только text.

6. 6. Проверить реальный вызов

Откройте AI/Ask.

  1. В настройках модуля AI, группа "Страница AI/Ask", задайте "Политика по умолчанию" = offline_only.
  2. Включите "Диагностический режим по умолчанию", если поле "Включить модуль AI" еще выключено.
  3. Сначала включите "Dry-run по умолчанию".
  4. После успешного dry-run выключите "Dry-run по умолчанию".
  5. Включите "Сетевой вызов по умолчанию".
  6. На странице AI/Ask отправьте короткий prompt.

Если runtime не вызывается, проверьте настройку "Сетевой вызов по умолчанию": OpenAI-compatible adapter не выполняет HTTP-запрос без явного разрешения сетевого вызова.

7. 7. Проверить закрытый контур

После успешного ответа проверьте AI/Diagnostics:

  1. В selection выбранной модели должно быть external=false, local=true, offline=true.
  2. В отчете внешней передачи не должно быть успешных передач во внешний provider.
  3. В audit не должны отображаться секреты.
  4. При политике offline_only внешний fallback должен быть запрещен.

Если для runtime нужен API-ключ, храните его в SecretsJson через штатную настройку секретов, а не в endpoint и не в Help-тексте.

8. 8. Передача пользователям

Перед тем как открыть сценарий пользователям:

  1. Включите "Включить модуль AI".
  2. Проверьте AI/Ask без диагностического режима.
  3. Проверьте права на рабочие страницы AI.
  4. Для сценариев с черновиками проверьте AI/Reviews тем же пользователем, который запускает стартовый сценарий.
  5. Не включайте "Разрешить внешние модели", если эксплуатационный контур должен оставаться локальным.