Skip to main content

Documentation Index

Fetch the complete documentation index at: https://www.doc-reviewer.site/llms.txt

Use this file to discover all available pages before exploring further.

Оценка — это процесс отправки каждой инструкции в документе в LLM для анализа. LLM читает текст инструкции вместе с активным набором критериев и, если задан, контекстом продукта проекта. По каждой инструкции возвращается структурированный результат: цвет, обобщающий общее качество; результат выполнения каждого критерия; и текстовые рекомендации для всего, что требует улучшения. Результаты появляются по мере их поступления — вы можете просматривать готовые результаты, не дожидаясь завершения оценки всего документа.

​
Запуск оценки

Чтобы оценить документ, откройте его в разделе Оценить и нажмите Оценить. Doc Reviewer отправляет все разделы с классификацией инструкция и возможная инструкция, помеченные как включённые. Разделы с классификацией не инструкция и инструкции, исключённые вручную, пропускаются.
До запуска оценки убедитесь, что в Настройках → Модели настроена активная LLM и введён API-ключ. Оценка немедленно завершится ошибкой, если модель не активна или ключ не задан.

​
Потоковая передача результатов в реальном времени

Результаты поступают по мере их готовности. Как только оценка очередной инструкции завершается, её результат сразу появляется в дереве документа и на панели результатов — вы не ждёте завершения всего пакета. Это позволяет просматривать ранние результаты, пока остальные инструкции ещё оцениваются. Doc Reviewer оценивает инструкции по одной. При временных ошибках, таких как таймауты сети, выполняется автоматическая повторная попытка перед тем, как сообщить об ошибке для этой инструкции.

​
Цветовая шкала

Каждая оценённая инструкция получает один из четырёх цветов в зависимости от количества и серьёзности нарушенных критериев:

Зелёный

Нет ошибок, не более одного предупреждения. Инструкция соответствует всем критериям или имеет лишь незначительные недочёты, не влияющие на удобство использования.

Жёлтый

Есть предупреждения или не более одной ошибки. Нарушены некритичные критерии. В инструкции есть пробелы, но большинству читателей она понятна.

Оранжевый

Две или три ошибки. Нарушены важные критерии. В инструкции есть заметные проблемы, которые могут вызвать затруднения у читателей.

Красный

Четыре ошибки и более. Инструкция существенно неполна. Отсутствуют критически важные структурные элементы.
Цвет рассчитывается автоматически на основе результатов по каждому критерию. Каждый критерий возвращает одно из трёх значений: ok, warning или error. Количество значений error определяет цветовой уровень.

​
Результаты по критериям

По каждой оценённой инструкции Doc Reviewer показывает результат для каждого критерия из активного набора. Вы можете раскрыть инструкцию, чтобы увидеть разбор, в котором каждый критерий показан со своим результатом:
  • ok — критерий полностью выполнен
  • warning — критерий выполнен частично или есть незначительные недочёты
  • error — критерий не выполнен
Критерии, помеченные как необязательные (например, 3.1 «Результат» и 4.1 «Устранение неполадок»), оцениваются только при наличии соответствующего раздела в инструкции. Если раздел отсутствует, LLM автоматически возвращает ok.

​
Рекомендации

Если LLM оценивает критерий как warning или error, она также формирует рекомендацию с объяснением, что отсутствует или требует улучшения. Рекомендации отображаются под результатами по критериям для каждой инструкции. Каждая рекомендация содержит описание проблемы и, где уместно, краткий пример с указанием того, как должен выглядеть исправленный фрагмент.

​
Ложные срабатывания

LLM иногда помечает критерий как нарушенный, хотя инструкция его фактически выполняет — например, нестандартно сформулированный раздел с предварительными условиями или описание результата в альтернативной структуре. Вы можете отметить отдельные результаты по критериям как ложные срабатывания, чтобы переопределить оценку LLM. Чтобы отметить ложное срабатывание, нажмите значок флажка рядом с результатом критерия на панели детализации инструкции. Переопределение хранится отдельно от результата LLM и сохраняется при повторных оценках.
Переопределения ложных срабатываний никогда не сбрасываются при повторной оценке. При следующем запуске оценки Doc Reviewer обновляет цвет, результаты по критериям и рекомендации из нового ответа LLM, но ваши переопределения остаются в силе.

​
Повторная оценка

Вы можете запустить оценку документа заново в любое время. Это полезно в следующих случаях:
  • Вы обновили набор критериев и хотите применить новые правила
  • Вы перегенерировали или вручную отредактировали контекст продукта и хотите получить более точные результаты
  • LLM вернула неожиданный результат при предыдущей оценке, и вы хотите свежую оценку
Повторная оценка заменяет предыдущие результаты по каждой инструкции, но сохраняет все переопределения ложных срабатываний.
Если вы хотите сохранить снимок текущих результатов перед повторной оценкой — например, чтобы сравнить состояние до и после правки документации — сначала создайте снимок. Подробнее — в разделе Снимки.