agent-eval
Freeコーディングエージェント(Claude Code、Aider、Codexなど)のカスタムタスクによる直接比較。合格率、コスト、時間、一貫性メトリクスを測定
The English summary is being prepared. Showing the original description.
スキル、ルール、エージェント定義が実際に遵守されているかを可視化 — 3段階のプロンプト厳密度でシナリオを自動生成し、エージェントを実行、行動シーケンスを分類し、ツールコールタイムラインの完全なコンプライアンスレートをレポート
The English summary is being prepared. Showing the original description.
See how to installReview the instructions the agent will receive before you install.
コーディングエージェントがスキル、ルール、またはエージェント定義に実際に従っているかを測定します:
claude -pを実行し、stream-json経由でツールコールトレースをキャプチャskills/*/SKILL.md): search-first、TDDガイドなどのワークフロースキルrules/common/*.md): testing.md、security.md、git-workflow.mdなどの必須ルールagents/*.md): 期待通りにエージェントが呼び出されるか(内部ワークフロー検証は未対応)/skill-comply <path>を実行# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
プロンプトが明示的にサポートしていない場合でも、スキル/ルールが遵守されるかを測定します。
レポートは自己完結型で、以下を含みます:
フックに精通したユーザー向けに、コンプライアンスが低いステップに対するフックプロモーション推奨もレポートに含まれます。これは情報提供目的であり、主な価値はコンプライアンスの可視化そのものです。
No reviews yet. Tell others what you thought.
No login needed. Share how it worked for you, ask a question, or note where it did not run.
No comments yet. Be the first to write one.
コーディングエージェント(Claude Code、Aider、Codexなど)のカスタムタスクによる直接比較。合格率、コスト、時間、一貫性メトリクスを測定
The English summary is being prepared. Showing the original description.
AIエージェントのアクションスペース、ツール定義、オブザベーションフォーマットを設計・最適化し、タスク完了率を向上させる
The English summary is being prepared. Showing the original description.
評価ファーストの実行、分解、コスト考慮型モデルルーティングによるエージェンティックエンジニアとしての運用
The English summary is being prepared. Showing the original description.
AIエージェントが実装出力の大部分を生成するチームのためのエンジニアリング運用モデル
The English summary is being prepared. Showing the original description.
AI支援開発のためのリグレッションテスト戦略。データベース依存なしのサンドボックスモードAPIテスト、自動バグチェックワークフロー、同一モデルがコードの作成とレビューを行う際のAIの盲点を検出するパターン。
The English summary is being prepared. Showing the original description.
AndroidおよびKotlin Multiplatformプロジェクトのためのクリーンアーキテクチャパターン — モジュール構成、依存関係ルール、UseCase、Repository、データレイヤーパターン
The English summary is being prepared. Showing the original description.