Skip to main content

Documentation Index

Fetch the complete documentation index at: https://www.doc-reviewer.site/llms.txt

Use this file to discover all available pages before exploring further.

После завершения оценки Doc Reviewer показывает цветовой результат для каждого проанализированного раздела с инструкцией. Каждый цвет отражает, насколько хорошо раздел соответствует настроенным критериям качества. Используйте панель деталей, чтобы читать обратную связь по критериям и рекомендации LLM, а затем решайте — действовать по результатам, отметить ложные срабатывания или перезапустить оценку.

​
Цветовая шкала

Каждая оценённая инструкция получает один из четырёх цветов в зависимости от количества и серьёзности нарушенных критериев:
ЦветЗначение
ЗелёныйВсе критерии выполнены. Инструкция полна и хорошо структурирована.
ЖёлтыйОбнаружены незначительные недочёты. Инструкция в основном верна, но есть возможности для улучшения.
ОранжевыйОбнаружены заметные проблемы. В инструкции отсутствуют важные элементы или есть структурные нарушения.
КрасныйОбнаружены критические недочёты. В инструкции есть существенные пробелы, влияющие на удобство использования.
Дерево документа на левой панели обновляется в реальном времени по мере оценки каждой инструкции — результаты появляются один за другим без ожидания завершения всей оценки.
Вы можете открыть описание цветовой шкалы в любое время, нажав ссылку Как работает оценка? ↗ в сводной панели оценки над документом.

​
Просмотр результатов по критериям

Нажмите на любой раздел в дереве документа, чтобы открыть его панель деталей справа. На панели отображается:
  • Заголовок раздела и его классификация
  • Общий цветовой результат
  • Список результатов по каждому критерию — каждый критерий показывает одно из трёх состояний:
    • OK — критерий выполнен
    • Предупреждение — критерий выполнен частично или пограничный случай
    • Ошибка — критерий не выполнен
  • Рекомендации — список конкретных предложений LLM с объяснением, что отсутствует и как это исправить. Каждая рекомендация привязана к соответствующему критерию.

​
Отметка ложных срабатываний

Если вы не согласны с результатом по критерию — например, LLM отметила отсутствие описания результата шага, хотя оно явно присутствует — вы можете отметить этот результат как ложное срабатывание:
  1. Откройте панель деталей раздела.
  2. Найдите результат критерия, который хотите переопределить.
  3. Нажмите переключатель переопределения рядом с критерием.
Критерий помечается как ложное срабатывание и исключается из расчёта цвета для этого раздела. Переопределения ложных срабатываний сохраняются при повторных оценках: при следующем запуске оценки приложение обновляет цвет, результаты по критериям и рекомендации из ответа модели, но ваши переопределения остаются в силе.
Используйте переопределения ложных срабатываний для коррекции систематических ошибок классификации. Например, если определённый паттерн формулировки постоянно помечается как ошибка в многих инструкциях, но соответствует стилю вашего продукта, отметьте такие результаты как ложные срабатывания, чтобы они не искажали общую картину качества.

​
Повторная оценка документа

Чтобы перезапустить оценку — например, после редактирования исходного документа, переключения на другую LLM или обновления критериев — нажмите Оценить ещё раз на странице документа. Приложение заново оценивает все включённые разделы с инструкциями:
  • Цвета, результаты по критериям, рекомендации и название модели обновляются из новых результатов.
  • Переопределения ложных срабатываний сохраняются.
В LLM отправляются только разделы с классификацией инструкция или возможная инструкция, включённые в оценку. Разделы с классификацией не инструкция не оцениваются никогда.

​
Сброс результатов оценки

Чтобы удалить все результаты оценки документа и начать заново — например, если вы хотите убрать всю историю переопределений вместе с результатами — используйте функцию сброса на странице документа:
  1. Откройте документ на странице Оценка.
  2. Нажмите Сбросить оценку в меню действий с документом.
  3. Подтвердите действие.
Все записи оценки документа удаляются, включая все переопределения ложных срабатываний. Структура документа и разделы остаются нетронутыми. После сброса вы можете запустить чистую оценку без предыдущей истории.
Сброс результатов оценки необратим. Все заданные переопределения будут утеряны. Если вы хотите сохранить результаты для сравнения, сначала создайте снимок.