本文へ移動
cccskills
無料GitHub で公開日本語紹介

agent-regression-evals

エージェントやプロンプトを変更する前後で複数回の評価を行い、偶然のばらつきと実際の性能低下を統計的に見分けます。

原文原文の説明を見る

Use before shipping any agent, prompt, model or tool change, or when a pass-rate drop needs a verdict. Runs repeated trials, gates candidate vs baseline with paired statistics in regression_gate.py, checks tool-call trajectories and finds flaky cases.

LeoYeAI/agent-master-skillsスター 2,192(GitHub 2,192 + cccskills 0)

実行スコア 未検証

インストール方法を見る

こんなときに便利

  • 変更前後の評価結果を比較したいとき
  • 実行ごとに結果が揺れるケースを見つけたいとき
  • ツール呼び出し手順の違反を検出したいとき
  • 成功率低下が偶然かどうか判断したいとき

日本語での紹介

できること

エージェント、プロンプト、モデル、ツールを変更したとき、変更前後の評価結果を比較し、性能低下が偶然のばらつきか実際の退行かを調べます。各ケースを複数回実行したJSONL結果を使い、ツール呼び出しの軌跡が仕様に合うか、成功と失敗が不安定なケースはどれかを確認します。そのうえで、ケースごとの結果を対応付けた統計比較を行い、基準との差や重要ケースの失敗、ケースの欠落、禁止ツールの呼び出しなどから、通過・警告・ブロックを判定します。

こんなときに便利

エージェントの変更をリリースする前に、成功率の変化を根拠をもって確認したいときに使えます。結果が実行ごとに揺れるケースを見つけたい場合や、最終回答だけでなくツール利用の手順も評価したい場合にも向いています。

使い方の例

  • 「この候補結果をベースラインと比較し、変更をブロックすべきか判定してください」
  • 「評価結果から不安定なケースを見つけてください」
  • 「指定したケースで禁止されたツール呼び出しがないか確認してください」

注意点

評価は各ケース3回以上実行し、基準と候補の両方で結果を用意します。スキルは標準ライブラリだけを使う付属スクリプトで集計・判定し、APIやLLM呼び出しは行いません。

この紹介文は、公開されている SKILL.md をもとに AI(OpenAI Codex)が作成しました。正確な仕様は下の原文を確認してください。

資料チェック

SKILL.md の記述から、注意が要る操作と導入の前提を AI が確認しました。点数は実際に動かした結果(実行検証)だけで付けています。

安全面送信・削除・コマンド実行などの扱いが明示されているか
A良好候補比較や禁止ツールを検査し、exit 4でブロックする。
導入のしやすさ必要なツールや API キーが少ないか、書かれているか
A良好標準ライブラリのみでAPI・LLM呼び出し不要と明記。

点数には入れていません。 2026年11月15日 時点で AI(OpenAI Codex)が判定しました。目安なので、入れる前に原文も確認してください。

評価が違うと思ったら、見直しを依頼する

どの項目が、なぜ違うと思うかを書いてください。ログインは不要です。内容を SKILL.md と照らし合わせて評価を作り直し、この欄に反映します。

このフォームは reCAPTCHA で保護されており、Google のプライバシーポリシーと利用規約が適用されます。

含まれるファイル(11)

  • SKILL.md5.3 KB
  • assets/ci_eval_gate.example.yml1.7 KB
  • assets/eval_case_spec.example.json669 B
  • assets/sample_baseline.jsonl3.7 KB
  • assets/sample_candidate.jsonl3.7 KB
  • references/eval_statistics.md4.8 KB
  • references/flaky_cases_and_quarantine.md4.8 KB
  • references/trajectory_grading.md4.1 KB
  • scripts/flake_detector.py9.8 KB
  • scripts/regression_gate.py12.2 KB
  • scripts/trajectory_checker.py10.6 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

コメント

ログインなしで書き込めます。使ってみた感想、質問、動かなかった環境などを気軽にどうぞ。

まだコメントはありません。最初のコメントを書いてみませんか。

送信するとすぐに公開されます。メールアドレスや電話番号などの個人情報は書かないでください。URL は 2 つまでです。

0 / 1000 文字

このフォームは reCAPTCHA で保護されており、Google のプライバシーポリシーと利用規約が適用されます。

同じリポジトリのスキル

0codekit

無料概要あり

0codekitのワークスペースデータを扱うための連携スキルです。資料では表計算、タスク、文書、メール、カレンダー、データベースなどの情報を対象にしています。

  • 0codekitのワークスペース情報を扱いたいとき
  • 表やデータベースの情報を確認したいとき
  • タスクや予定を参照したいとき
LeoYeAI/agent-master-skills2,1932026年11月1日 更新

0xarchive

無料概要あり

Hyperliquid、Lighter.xyz、HIP-3の暗号資産について、過去の価格やローソク足、注文板、取引、資金調達率、建玉などをAPIから調べ、データの鮮度や欠損も確認します。

  • 対応取引所の過去価格を調べたいとき
  • 注文板や取引履歴を確認したいとき
  • 資金調達率や建玉の推移を見たいとき
LeoYeAI/agent-master-skills2,1932026年11月1日 更新

12-factor-apps

無料概要あり

コードベースを12-Factor Appの12原則に照らして調べ、設定や依存関係、ログなどの適合度と根拠、改善案をまとめます。

  • SaaSの構成を監査したいとき
  • クラウド移行の課題を洗い出すとき
  • コンテナ化の前に構成を点検するとき
LeoYeAI/agent-master-skills2,1932026年11月1日 更新

13-Day Sprint Method

無料概要あり

マヤ暦に着想を得た13日周期で目標設定から実行、成果の振り返りまでを進め、個人やチームのプロジェクトに毎日の行動指針を設けます。

  • 個人のプロジェクトを13日で進めたいとき
  • チームのスプリントに日ごとの焦点を設けたいとき
  • 今日の行動指針を確認したいとき
LeoYeAI/agent-master-skills2,1932026年11月1日 更新

13c-metabolic-flux

無料概要あり

炭素13の標識測定から細胞内の代謝反応速度を推定し、原子の対応関係や入力条件を点検して、測定データでどの経路の流量まで絞り込めるかを調べるスキル。

  • 炭素13の測定から代謝流量を推定したいとき
  • 原子対応表と測定入力の整合性確認
  • 仮定した反応速度から標識分布を予測
LeoYeAI/agent-master-skills2,1932026年11月1日 更新

1688 Sourcing Agent

無料概要あり

1688.comで中国の仕入れ先や商品を選ぶため、出品者の確認、サンプル評価、価格交渉、配送方法の比較を段階的に支援します。輸入時の注意点や専門家に相談する目安も整理できます。

  • 1688.comの仕入れ先を確認したいとき
  • 予算に合う商品候補を絞りたいとき
  • 価格やサンプルを交渉したいとき
LeoYeAI/agent-master-skills2,1932026年11月1日 更新

LeoYeAI のスキルをすべて見る

このスキルの問題を報告する