Endge

Тема

6. Генерация и проверка ​

Статус: реализовано в Workbench v0.6.0 с buffered response validation. Общая схема находится в разделе «AI Workbench: подготовка данных».

Итоговая AI-модель не планирует retrieval заново. Она получает готовый ModelRequest и формулирует связный ответ в заданных границах.

Роль итоговой модели ​

Модель может:

  • объяснять отобранные факты;
  • сопоставлять несколько уже разрешённых сущностей;
  • связывать доменные данные с публичной документацией;
  • формулировать ограничения и неопределённости;
  • отвечать на несколько задач в одном связном тексте.

Модель не может:

  • добавлять неизвестные domain identity;
  • изменять разрешённые цели;
  • сообщать о выполненных domain-изменениях;
  • использовать факты из непереданных источников как проверенные данные.

Вызов provider adapter ​

Один итоговый provider run получает:

  • выбранный model profile snapshot;
  • подготовленные messages;
  • limits по времени, объёму и числу попыток.

Внутренний provider stream сначала полностью собирается в ограниченный buffer. Клиент получает content_delta только после успешной проверки всего ответа, затем completed; при ошибке приходит failed, а частичный provider response не показывается и не становится каноническим message.

Структура ответа ​

Workbench запрашивает JSON следующей структуры независимо от provider adapter:

json
{
  "answer": "...",
  "entityCitations": [
    {
      "documentType": "composition",
      "identity": "example-composition-alpha"
    }
  ],
  "documentationCitations": [
    "reference/filter#runtime"
  ],
  "limitations": []
}

Если provider не гарантирует schema-constrained output, Workbench разбирает его текст как JSON и допускает одну repair-попытку.

Детерминированная проверка ​

Workbench проверяет:

  1. каждый упомянутый domain identity есть в переданном context;
  2. каждая documentation citation есть среди отобранных фрагментов;
  3. ответ не заявляет о невыполненной мутации;
  4. выход соответствует transport contract;
  5. ответ не пуст и не оборван из-за limit.

Эта проверка не доказывает, что каждая фраза модели истинна. Она гарантирует только проверяемые границы. Смысловое качество оценивается на наборе размеченных запросов.

Ошибка проверки ​

При ошибке Workbench не исправляет ответ в бесконечном evaluator loop. Возможны:

  • одна ограниченная repair-попытка для невалидной структуры;
  • возврат явной ошибки;
  • ответ с ограничением, если основной текст валиден, а отдельная citation не подтверждена.

Завершение Interaction ​

Assistant message сохраняется только после успешного provider run и обязательной проверки. Interaction переходит в completed, а его финальные plan version, snapshot metadata и source provenance остаются доступными для диагностики.

Вернуться к общей схеме.