agent-eval
Freeコーディングエージェント(Claude Code、Aider、Codexなど)のカスタムタスクによる直接比較。合格率、コスト、時間、一貫性メトリクスを測定
The English summary is being prepared. Showing the original description.
Claude Codeセッションから再利用可能なパターンを自動的に抽出し、学習済みスキルとして保存。
The English summary is being prepared. Showing the original description.
See how to installReview the instructions the agent will receive before you install.
セッション終了時にClaude Codeセッションを自動評価し、学習済みスキルとして保存可能な再利用可能パターンを抽出する。
~/.claude/skills/learned/の学習済みスキルをレビューまたはキュレーションするときこのスキルはセッション終了時のStopフックとして実行される:
~/.claude/skills/learned/に保存config.jsonを編集してカスタマイズ:
{
"min_session_length": 10,
"extraction_threshold": "medium",
"auto_approve": false,
"learned_skills_path": "~/.claude/skills/learned/",
"patterns_to_detect": [
"error_resolution",
"user_corrections",
"workarounds",
"debugging_techniques",
"project_specific"
],
"ignore_patterns": [
"simple_typos",
"one_time_fixes",
"external_api_issues"
]
}
| パターン | 説明 |
|---|---|
error_resolution | 特定のエラーがどのように解決されたか |
user_corrections | ユーザーの修正から得られたパターン |
workarounds | フレームワーク/ライブラリの癖に対する解決策 |
debugging_techniques | 効果的なデバッグアプローチ |
project_specific | プロジェクト固有の規約 |
~/.claude/settings.jsonに追加:
{
"hooks": {
"Stop": [{
"matcher": "*",
"hooks": [{
"type": "command",
"command": "~/.claude/skills/continuous-learning/evaluate-session.sh"
}]
}]
}
}
/learnコマンド - セッション中の手動パターン抽出Homunculus v2はより洗練されたアプローチを取る:
| 機能 | 本アプローチ | Homunculus v2 |
|---|---|---|
| 観察 | Stopフック(セッション終了時) | PreToolUse/PostToolUseフック(100%信頼性) |
| 分析 | メインコンテキスト | バックグラウンドエージェント(Haiku) |
| 粒度 | 完全なスキル | アトミックな「インスティンクト」 |
| 信頼度 | なし | 0.3-0.9の重み付け |
| 進化 | 直接スキルへ | インスティンクト → クラスター → スキル/コマンド/エージェント |
| 共有 | なし | インスティンクトのエクスポート/インポート |
Homunculusからの主要な洞察:
「v1はスキルに観察を頼っていた。スキルは確率的で、約50-80%の確率で発火する。v2は観察にフック(100%信頼性)を使用し、学習された行動のアトミックな単位としてインスティンクトを使用する。」
詳細はdocs/continuous-learning-v2-spec.mdを参照。
No reviews yet. Tell others what you thought.
No login needed. Share how it worked for you, ask a question, or note where it did not run.
No comments yet. Be the first to write one.
コーディングエージェント(Claude Code、Aider、Codexなど)のカスタムタスクによる直接比較。合格率、コスト、時間、一貫性メトリクスを測定
The English summary is being prepared. Showing the original description.
AIエージェントのアクションスペース、ツール定義、オブザベーションフォーマットを設計・最適化し、タスク完了率を向上させる
The English summary is being prepared. Showing the original description.
評価ファーストの実行、分解、コスト考慮型モデルルーティングによるエージェンティックエンジニアとしての運用
The English summary is being prepared. Showing the original description.
AIエージェントが実装出力の大部分を生成するチームのためのエンジニアリング運用モデル
The English summary is being prepared. Showing the original description.
AI支援開発のためのリグレッションテスト戦略。データベース依存なしのサンドボックスモードAPIテスト、自動バグチェックワークフロー、同一モデルがコードの作成とレビューを行う際のAIの盲点を検出するパターン。
The English summary is being prepared. Showing the original description.
AndroidおよびKotlin Multiplatformプロジェクトのためのクリーンアーキテクチャパターン — モジュール構成、依存関係ルール、UseCase、Repository、データレイヤーパターン
The English summary is being prepared. Showing the original description.