本文へ移動
cccskills
無料GitHub で公開日本語紹介

writing-evals

GitHub CLI向けエージェント評価を設計し、イベント通知の確認やポーリング検出など、期待する動作を再現可能な基準で判定できるようにします。

原文原文の説明を見る

Use when creating or revising GitHub CLI agent evals, especially live fixtures, skill-off/skill-on comparisons, polling or event-routing behavior, Vally definitions, deterministic graders, or slow and flaky model loops.

cli/cliスター 47,066(GitHub 47,066 + cccskills 0)
連携ツールGitHub

実行スコア 未検証

インストール方法を見る

こんなときに便利

  • イベント通知の評価を設計したいとき
  • スキルあり・なしを比較したいとき
  • ポーリングの有無を判定したいとき
  • 不安定な評価の失敗原因を整理したいとき

日本語での紹介

できること

GitHub CLIを使うエージェントの評価を設計・見直しし、依頼した結果が実際に起きたか、専用のイベント通知コマンドで変更を受け取ったか、通知を待つ代わりに状態を繰り返し読んでいないかを分けて判定します。評価の前に期待する動作を観測可能な形で定め、実行したコマンドや出力、操作した主体、終了状態などの証拠を記録します。スキルなし・ありの比較では、通常の失敗と認証や環境の問題を区別します。決定的な判定器を使い、単に処理が完了しただけでイベント配信が機能したと見なさないようにします。

こんなときに便利

イベント通知を扱うエージェントの評価を作るときや、遅く不安定なモデル試行を何度も回さずに失敗原因を切り分けたいときに向いています。既存の評価で、通知の確認、待機方法、判定基準が混同されている場合の整理にも使えます。

使い方の例

  • 「イベント通知の評価で、ポーリングと通知による待機を別々に判定できるようにして」
  • 「スキルあり・なしの比較で、環境エラーを通常の失敗として数えない基準を作って」

注意点

評価結果は複数回の試行で見直す暫定的な指針です。Vallyの定義と実行・採点プラグインの利用が推奨されています。

この紹介文は、公開されている SKILL.md をもとに AI(OpenAI Codex)が作成しました。正確な仕様は下の原文を確認してください。

資料チェック

SKILL.md の記述から、注意が要る操作と導入の前提を AI が確認しました。点数は実際に動かした結果(実行検証)だけで付けています。

安全面送信・削除・コマンド実行などの扱いが明示されているか
A良好別主体の使用、認証情報の明示要求、後片付けが記載されています。
導入のしやすさ必要なツールや API キーが少ないか、書かれているか
B一部不足Vallyと実行・採点プラグインを推奨しますが、導入手順はありません。

点数には入れていません。 2026年11月18日 時点で AI(OpenAI Codex)が判定しました。目安なので、入れる前に原文も確認してください。

評価が違うと思ったら、見直しを依頼する

どの項目が、なぜ違うと思うかを書いてください。ログインは不要です。内容を SKILL.md と照らし合わせて評価を作り直し、この欄に反映します。

このフォームは reCAPTCHA で保護されており、Google のプライバシーポリシーと利用規約が適用されます。

含まれるファイル(2)

  • SKILL.md3.4 KB
  • references/design-notes.md5.3 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

コメント

ログインなしで書き込めます。使ってみた感想、質問、動かなかった環境などを気軽にどうぞ。

まだコメントはありません。最初のコメントを書いてみませんか。

送信するとすぐに公開されます。メールアドレスや電話番号などの個人情報は書かないでください。URL は 2 つまでです。

0 / 1000 文字

このフォームは reCAPTCHA で保護されており、Google のプライバシーポリシーと利用規約が適用されます。

同じリポジトリのスキル

agentic-workflows

無料概要あり

GitHub Agentic Workflowsの設計・作成・更新・デバッグ・アップグレード依頼を見分け、対応する手順書へ案内するスキルです。

  • ワークフローを新規設計・作成したいとき
  • 既存ワークフローを更新したいとき
  • エラーの調査やデバッグをしたいとき
cli/cli4.7万2026年11月7日 更新

cli-exercise

無料概要あり

実際のCLIコマンドをケースや目標に沿って実行・記録し、観察した動作を確認できる動画などの証拠にまとめます。

  • CLIの指定ケースを記録したいとき
  • コマンドの動作を動画で示したいとき
  • 対話型の操作を検証したいとき
cli/cli4.7万2026年11月19日 更新

cli-exercise-evidence

無料概要あり

CLI操作の記録や実行結果を期待値と照合し、動画などの証拠をローカルで作成・確認して、ケースごとの結果と成果物を返します。

  • CLI演習の期待値を検証したいとき
  • 記録から動画証拠を作成したいとき
  • 動画や画面の内容を点検したいとき
cli/cli4.7万2026年10月31日 更新

cli-exercise-exact

無料概要あり

指定されたCLIテストのコマンド、入力、順序、期待条件を保ったまま実行し、観察結果に照らして各ケースを判定するスキルです。

  • 指定どおりのCLIテストを実行したいとき
  • 入力やケースの順序を保って確認したいとき
  • 期待結果を実際の出力と照合したいとき
cli/cli4.7万2026年10月31日 更新

cli-exercise-explore

無料概要あり

指定された目標と許可範囲に沿ってCLIの確認項目を選び、各操作の準備・実行・検証を順に進めて結果を整理するスキルです。

  • CLI操作を目標に沿って確かめたいとき
  • アップロードの完了条件を整理したいとき
  • 操作ごとに準備と検証を行いたいとき
cli/cli4.7万2026年10月31日 更新

cli-exercise-preflight

無料概要あり

cli-exerciseの実行前にGoや録画関連ツールの利用可否を調べ、不足時は導入手順への同意を得て再確認する内部モジュールです。

  • 記録前に必要なツールを確認したいとき
  • 動画やGIFの出力可否を調べたいとき
  • 不足依存関係の導入手順を知りたいとき
cli/cli4.7万2026年10月31日 更新

cli のスキルをすべて見る

このスキルの問題を報告する