本文へ移動
cccskills
無料GitHub で公開

whalesong-annotate

Attach review scores to recorded Whalesong traces and build comparison pairs — mark a session good/bad/regressed, then diff two runs deterministically. Use when evaluating agent changes, reviewing a run after the fact, or building a small eval set.

日本語の概要は準備中です。原文の説明を表示しています。

インストール方法を見る

含まれるファイル(1)

  • SKILL.md1.7 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

Whalesong: annotate and compare

Two jobs: leave durable review marks on traces, and diff runs.

Scoring

whalesong_score writes a Langfuse-style score row onto a trace. Suggested names stay consistent so later queries aggregate cleanly:

  • review — categorical: accepted / needs-work / failed
  • rating — numeric 1–5
  • regression — boolean: true means this run was worse than its baseline

Always pass comment with the one-line reason; a bare score is a label nobody can act on later. Scores are the only write this plugin performs — confirm the trace id before writing.

Comparing runs

whalesong_compare takes two trace ids (or file paths) and returns a deterministic diff: overall similarity, per-channel and temporal similarity, deltas in duration / tokens / errors / p95 latency / finding counts, and the timeline points where the two runs diverged most.

Good pairs:

  • same task, before/after a prompt or model change,
  • a passing run vs. its scored regression pair,
  • the same workflow across two different agent CLIs.

Similarity near 1.0 means the runs' shape matched; it says nothing about output quality — inspect the differing span names the diff reports.

Typical flow

  1. Triage or list traces → pick the pair.
  2. whalesong_compare → report the deltas that matter.
  3. whalesong_score both runs so the verdict is durable.

Keep the write side boring: one score, one comment, correct trace id.

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

コメント

ログインなしで書き込めます。使ってみた感想、質問、動かなかった環境などを気軽にどうぞ。

まだコメントはありません。最初のコメントを書いてみませんか。

送信するとすぐに公開されます。メールアドレスや電話番号などの個人情報は書かないでください。URL は 2 つまでです。

0 / 1000 文字

このフォームは reCAPTCHA で保護されており、Google のプライバシーポリシーと利用規約が適用されます。

同じリポジトリのスキル

Audit a page or UI against WCAG 2.2 AA. Runs a static HTML scanner and a contrast calculator, then walks the manual keyboard, zoom, screen-reader-name and form checks the tools cannot do, and reports findings with the criterion, evidence, fix and how to verify. Use for accessibility reviews, WCAG checks, contrast questions or "is this accessible".

日本語の概要は準備中です。原文の説明を表示しています。

codewhale-hq/codewhale-plugin-marketplace52026年10月12日 更新

batch

無料

Break a large, parallelizable goal into bounded work units, coordinate existing agent/worktree machinery, integrate, and verify. Explicit-only.

日本語の概要は準備中です。原文の説明を表示しています。

codewhale-hq/codewhale-plugin-marketplace52026年10月12日 更新

best-of-n

無料

Generate a small set of independent candidate solutions in worktrees, judge them against one explicit rubric, and apply the winner only after PASS verification.

日本語の概要は準備中です。原文の説明を表示しています。

codewhale-hq/codewhale-plugin-marketplace52026年10月12日 更新

Read and act on selected Chrome tabs and frames — their real browser, their logged-in sessions. Use for questions about the current page, filling a form the user is on, following a link they mentioned, or checking what a site actually renders. Not for throwaway automation in a clean profile.

日本語の概要は準備中です。原文の説明を表示しています。

codewhale-hq/codewhale-plugin-marketplace52026年10月12日 更新

Deploy or change a Cloudflare Worker with cf. Review config, preflight, build and dry-run; show the target and change, obtain explicit approval, deploy and verify. Covers versions, secrets, rollback and named modes.

日本語の概要は準備中です。原文の説明を表示しています。

codewhale-hq/codewhale-plugin-marketplace52026年10月12日 更新

Look up current Cloudflare documentation (Workers, Pages, KV, R2, D1, Queues, DNS, WAF, platform APIs) through Cloudflare's official remote MCP server. Use when answering Cloudflare questions or writing Cloudflare config.

日本語の概要は準備中です。原文の説明を表示しています。

codewhale-hq/codewhale-plugin-marketplace52026年10月12日 更新

codewhale-hq のスキルをすべて見る

このスキルの問題を報告する