assign-skill-design-evaluator
※ creator-kit Phase 0 移行中は plugins/harness-creator/skills/ が正本、.claude/skills/ への配置は派生。本SKILL.mdは両配置で動作するよう self-relative パスを使用。
Purpose & Output Contract
生成済みSkillをrubricで採点し、構造化JSONを返す評価専用Skill。
forkコンテキストで動き、生成本体（run-build-skill）と context を共有しない。
入力: target = SKILL.md のパス もしくは スキルディレクトリ
出力（STDOUT、JSON 1オブジェクト）:
{
"rubric_id": "skill-design",
"rubric_version": "1.0.0",
"rubric_hash": "<sha256:rubric.json>",
"composition_hash": "<sha256:merged-rubrics>",
"rubric_refs": ["<L0 rubric>", "<local override>"],
"target": "<path>",
"score": 87,
"threshold": 80,
"passed": true,
"machine_checks": [],
"findings": [
{"id":"FM-003","severity":"medium","message":"trigger count=4 > 3","loc":"frontmatter.description"}
],
"required_fixes": [],
"pending_human": []
}
禁則: 生成・修正を行わない。Write/Edit toolは持たない。pair: run-build-skill が修正担当。
Key Rules
- Goodhart対策: 採点者は被採点物を改変しない（09章）。
- rubric_refs 注入 (append-only): runner/orchestrator が L1 ドメイン rubric を CLI
--rubric-refs で append する（順序: L0 → L1 → L2）。evaluator 自身は frontmatter rubric_refs を書き換えない（設計書29 §10 アンチパターン）。合成は plugin 同梱の scripts/compose-rubrics.py (skill-governance-automation の正本を byte 一致で同梱。scripts/lint-vendored-ssot.py が一致を強制) に委譲し、deep-merge / strict / override / layered、conflict policy、schema検証、循環検出、composition hash を同一実装で扱う。未指定時は L0 + L2 のみで合成する（L1 スキップ）。
- TODO(human)残置: 合成 rubric の check に TODO(human) マーカーが残る rule は採点せず
pending_human に別建てする（score に反映しない）。
- severity weights固定: high -20 / medium -10 / low -3、初期 100。負値は 0 にクランプ。
- rubric_hash必須: 出力JSONに rubric.json の sha256 を載せる（再現性、27章）。
ゴールシーク実行
evaluator は一度の採点で完結する read-only 工程。ループは回さず、採点の網羅性を完了チェックリストで担保する（正本 run-build-skill/references/goal-seek-paradigm.md 「評価系 (assign-*-evaluator) の扱い」）。
ゴール (Goal)
全 rubric 項目を採点し、各 findings にエビデンス（loc）と severity を付与し、最終 score を算出した JSON 1 オブジェクトが STDOUT に出力され、eval-log へ append 済みになっている。
目的・背景 (Why)
生成本体（run-build-skill）と context を共有しない fork で被採点物を改変せず採点することで、Goodhart/Sycophancy を避け再現可能な品質ゲートを成立させる。
完了チェックリスト (Checklist)
採点フロー（局面カタログ・順序は都度判断）
-
rubric ロード: self-relative で scripts/references を解決し、render-findings-score.py を L0→L1→L2 の順で合成して呼ぶ。
SKILL_DIR="${CLAUDE_SKILL_DIR:-}"
if [ -z "$SKILL_DIR" ]; then
if [ -f "plugins/harness-creator/skills/assign-skill-design-evaluator/scripts/render-findings-score.py" ]; then
SKILL_DIR="plugins/harness-creator/skills/assign-skill-design-evaluator"
elif [ -f ".claude/skills/assign-skill-design-evaluator/scripts/render-findings-score.py" ]; then
SKILL_DIR=".claude/skills/assign-skill-design-evaluator"
else
SKILL_DIR="$(cd "$(dirname "${BASH_SOURCE[0]:-$0}")" && pwd)"
fi
fi
UPSTREAM="${SKILL_DESIGN_RUBRIC:-plugins/harness-creator/skills/ref-skill-design-rubric/references/rubric.json}"
# L1: DOMAIN_RUBRIC_REFS は run-build-skill が brief.domain から rubric-registry.json 経由で空白区切りで渡す。未設定なら L0 + L2 のみ。
L1_REFS="${DOMAIN_RUBRIC_REFS:-}"
python3 "$SKILL_DIR/scripts/render-findings-score.py" \
--rubric-refs "$UPSTREAM" $L1_REFS "$SKILL_DIR/references/rubric.json" \
--target "$TARGET" --emit-hash
合成順序は L0 → L1 → L2 (末尾が最 specific)。deep-merge + most-specific-wins で末尾優先。別ドメイン追加時も本体は変えず rubric-registry.json に L1 登録するだけ（設計書29 §7.1）。
-
静的検査: Read / Grep / lint-* で findings 収集 — FM-001..005 (validate-frontmatter.py)、BD-001..004 (Output contract / Gotchas / 行数 / BD-004=TODO(human))、NM-001..003 (lint-skill-name.py, lint-skill-tree.py)、PD-001 (本文100行超なら references/ 必須)、RG-001 (rubric_hash 埋め込み)。
-
スコア計算: render-findings-score.py に findings を渡し severity weight で減点。
-
JSON 出力: references/evaluator-contract.md のスキーマ通り STDOUT 1 行で出す。threshold 未達は passed=false。run-build-skill が findings[*].message を元に再生成する。
-
eval-log 永続化 (必須・F1 規約): STDOUT の JSON を write-eval-log.py 経由で eval-log/<plugin>/<date>-score.jsonl (= write-eval-log.py の resolve_log_path) へ append。自己進化ループ（設計書23章）の入力ストックを確保する唯一の書き込み経路。集計 aggregate-evals.py (SessionEnd) はこの score.jsonl を読み取り source とする。
python3 "$SKILL_DIR/scripts/render-findings-score.py" ... \
| tee /dev/tty \
| python3 plugins/skill-governance-automation/scripts/write-eval-log.py
write-eval-log.py は schema 検証・recorded_at/schema_version 自動付与を行う。書き込み失敗 (exit != 0) なら本 Skill 全体を非ゼロ exit で終え上位 runbook に報告する。直接 echo >> jsonl 追記は禁止（スキーマ事故防止）。
Gotchas
- rubric.json内のTODO(human)はscoreに反映しない:
pending_human 配列に別建て。
- forkでも /tmp は永続しない: 中間ファイルは
--target 内に置かない。STDOUT返却のみ。
- stdlibのみ: PyYAML不可。
scripts/render-findings-score.py は標準ライブラリ json で rubric.json を読む。
- rubric_refs の most-specific-wins: 本Skill側で override したルールが優先（29章）。
Additional Resources
references/rubric.json — L2 delta-only override（evaluator 固有 rule のみ。正本 rule 集合は upstream L0）references/evaluator-contract.md — 出力JSONスキーマ・禁則scripts/render-findings-score.py — findings→score計算- upstream:
plugins/harness-creator/skills/ref-skill-design-rubric/references/rubric.json