criteria.md рядом с doc-reviewer.exe до первого запуска.
Структура файла
Файл критериев содержит четыре вида блоков:Полный пример формата
Раздел Роль
Раздел## Роль в начале файла определяет экспертную персону, которую LLM принимает при оценке инструкций. Doc Reviewer извлекает этот текст и помещает его в системный промпт до постановки задачи оценки.
Пишите раздел Роль как описание компетенций оценщика: его опыт, что он оценивает и какие специализированные знания должен применять. Например:
Необязательные критерии
Пометьте критерий как необязательный, добавив<опциональный> к заголовку:
ok). Используйте необязательные критерии для разделов, которые могут законно отсутствовать — например, раздел по устранению неполадок или абзац с итоговым результатом.
Структура критериев по умолчанию
Встроенный набор критериев охватывает пять групп. Это структура, используемая вcriteria.md по умолчанию:
Группа 0 — Структура
Группа 0 — Структура
Проверяет верхнеуровневую форму инструкции до оценки содержимого.
Группа 1 — Вводный текст
Группа 1 — Вводный текст
Проверяет поясняющий контент, предшествующий шагам.
Группа 2 — Шаги
Группа 2 — Шаги
Проверяет качество и полноту нумерованной процедуры.
Группа 3 — Результат
Группа 3 — Результат
Проверяет завершающий раздел инструкции.
Группа 4 — Устранение неполадок
Группа 4 — Устранение неполадок
Проверяет контент по обработке ошибок при его наличии.
Советы по написанию критериев
Указывайте конкретно, как выглядит прохождение проверки. Расплывчатые критерии дают непоследовательные результаты LLM. Вместо «шаги понятны» пишите «каждый шаг содержит ровно одно действие в повелительном наклонении». Используйте маркеры необязательности для разделов, которые могут отсутствовать. Если критерий проверяет раздел, который законно может не быть в части инструкций (блок по устранению неполадок, абзац с итоговым результатом), помечайте его как<опциональный>. Это предотвращает ложные ошибки.
Пишите кратко. Одного-двух предложений на критерий достаточно. LLM читает весь файл критериев для каждой оценки — длинные описания увеличивают расход токенов и могут размывать фокус.
Подбирайте раздел Роль под тип вашего продукта. Описывайте компетенции, наиболее релевантные вашей документации: оценщик продуктов для информационной безопасности, технический писатель для инструментов разработчика, специалист по соответствию требованиям для регулируемых отраслей. Чем конкретнее роль, тем последовательнее LLM применяет ваши стандарты.
Нумеруйте критерии через точку. Используйте 1.1, 1.2, 2.1 и т.д. Этот номер используется как идентификатор критерия в результатах оценки — сохраняйте его стабильным при редактировании.
Применение пользовательских критериев
- Через интерфейс
- Как набор по умолчанию при первом запуске
Перейдите в Настройки → Наборы критериев → Новый набор критериев, вставьте содержимое в формате Markdown, задайте имя набора и нажмите Сохранить. Затем нажмите Активировать, чтобы сделать набор активным.