コーディングエージェント(Claude Code、Aider、Codexなど)のカスタムタスクによる直接比較。合格率、コスト、時間、一貫性メトリクスを測定
skill-comply
スキル、ルール、エージェント定義が実際に遵守されているかを可視化 — 3段階のプロンプト厳密度でシナリオを自動生成し、エージェントを実行、行動シーケンスを分類し、ツールコールタイムラインの完全なコンプライアンスレートをレポート
含まれるファイル(1)
- SKILL.md3.0 KB
SKILL.md(原文)
インストールする前に、エージェントに与えられる指示の中身を確認できます。
skill-comply: 自動コンプライアンス測定
コーディングエージェントがスキル、ルール、またはエージェント定義に実際に従っているかを測定します:
- 任意の.mdファイルから期待される行動シーケンス(仕様)を自動生成
- プロンプト厳密度を段階的に下げたシナリオを自動生成(支持的→中立→競合的)
claude -pを実行し、stream-json経由でツールコールトレースをキャプチャ- LLMを使用してツールコールを仕様ステップに対して分類(正規表現ではなく)
- 時間的順序を決定論的にチェック
- 仕様、プロンプト、タイムラインを含む自己完結型レポートを生成
対象ターゲット
- スキル (
skills/*/SKILL.md): search-first、TDDガイドなどのワークフロースキル - ルール (
rules/common/*.md): testing.md、security.md、git-workflow.mdなどの必須ルール - エージェント定義 (
agents/*.md): 期待通りにエージェントが呼び出されるか(内部ワークフロー検証は未対応)
発動タイミング
- ユーザーが
/skill-comply <path>を実行 - ユーザーが「このルールは実際に遵守されている?」と質問
- 新しいルール/スキルの追加後、エージェントのコンプライアンスを検証
- 品質メンテナンスの一環として定期的に
使い方
# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
重要概念: プロンプト独立性
プロンプトが明示的にサポートしていない場合でも、スキル/ルールが遵守されるかを測定します。
レポート内容
レポートは自己完結型で、以下を含みます:
- 期待される行動シーケンス(自動生成された仕様)
- シナリオプロンプト(各厳密度レベルで何が要求されたか)
- シナリオごとのコンプライアンススコア
- LLM分類ラベル付きツールコールタイムライン
上級者向け(オプション)
フックに精通したユーザー向けに、コンプライアンスが低いステップに対するフックプロモーション推奨もレポートに含まれます。これは情報提供目的であり、主な価値はコンプライアンスの可視化そのものです。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
AIエージェントのアクションスペース、ツール定義、オブザベーションフォーマットを設計・最適化し、タスク完了率を向上させる
評価ファーストの実行、分解、コスト考慮型モデルルーティングによるエージェンティックエンジニアとしての運用
AIエージェントが実装出力の大部分を生成するチームのためのエンジニアリング運用モデル
AI支援開発のためのリグレッションテスト戦略。データベース依存なしのサンドボックスモードAPIテスト、自動バグチェックワークフロー、同一モデルがコードの作成とレビューを行う際のAIの盲点を検出するパターン。
AndroidおよびKotlin Multiplatformプロジェクトのためのクリーンアーキテクチャパターン — モジュール構成、依存関係ルール、UseCase、Repository、データレイヤーパターン