本文へ移動
cccskills

評価基準について

スキルは、動かして評価する

cccskills の点数は、SKILL.md を読んで付けたものではありません。同じ課題をスキルなし・スキルありの Claude Code に解かせ、結果を比べて付けています。

読むだけでは、差がつかなかった

以前は SKILL.md の中身だけを AI に読ませ、4 項目を A・B・C で判定していました。2026 年 10 月に集計すると、点数がほとんど差を生んでいませんでした。

68%

が 90 点以上

評価済み 2,839 件のうち。100 点だけでも 694 件ありました。

98%

が「指示の明確さ」A

書き方が整っていても、動くかどうかは分かりません。

84%

が「手順の具体性」A

手順が書いてあることと、結果が良くなることは別です。

検証の手順

人気のスキルから 1 日 1 件ずつ、次の手順で検証しています。Claude を使うのは課題作り・実行・採点だけで、集計と保存はプログラムが行います。

  1. 01

    課題を作る

    SKILL.md から、そのスキルが役に立つはずの依頼と、検証用プロジェクトの初期ファイル、採点基準を作り、実行前に固定します。依頼文にスキル名は書きません。

  2. 02

    隔離して動かす

    1 回ごとに使い捨てのコンテナを作ります。外へは Anthropic の API にしか接続できず、ほかのサイトやこのサイトの情報には触れられません。

  3. 03

    スキルなし・ありで解かせる

    同じ課題を、スキルを入れていない Claude Code と入れた Claude Code に解かせます。どちらを先に動かすかは交互にします。

  4. 04

    時間とトークンを測る

    経過時間・トークン数・費用(API 料金での換算)・ターン数と、スキルが実際に読み込まれたかを記録します。

  5. 05

    伏せて採点する

    どちらがスキルありかを伏せたまま、別の AI が採点基準の 1 項目ずつに 1・0.5・0 を付けます。説明文ではなく、作られたファイルで確かめます。

  6. 06

    生成物を公開する

    最終メッセージと、作った・変えたファイルをすべて公開します。点数の根拠を、誰でも自分の目で確かめられます。

実行スコアの内訳(100 点)

5 つの項目の合計です。厳しめに付けているので、入れても何も変わらないスキルは 55 点前後になります。

品質45採点基準の達成率の差。差が 0 で 15 点、+50 ポイントで満点、−25 ポイントで 0 点。
速さ15経過時間の増減。増減 0% で 7.5 点、半分になれば満点、1.5 倍で 0 点。
トークン15トークン数の増減。付け方は速さと同じです。
発動15スキルありの実行のうち、Claude が実際にスキルを読み込んだ割合。
安定10途中で止まらずに完了した割合(5 点)と、スキルありが負けなかった割合(5 点)。

例: 品質・時間・トークンが変わらず、毎回使われ、止まらないスキル = 15 + 7.5 + 7.5 + 15 + 10 = 55 点

スキルを入れて、何が変わったか

点数とは別に、変化の種類をラベルで示します。1 つのスキルに複数付くことがあります。

良い変化

品質向上
採点基準の達成率が 15 ポイント以上上がった
時短
品質を落とさずに、経過時間が 20% 以上減った
トークン節約
品質を落とさずに、トークン数が 20% 以上減った

注意したい変化

品質低下
達成率が 10 ポイント以上下がった
時間増・トークン増
経過時間やトークン数が 1.5 倍以上になった
使われにくい
入れていても、半分以上の実行で読み込まれなかった
途中で止まる
4 回に 1 回以上、実行が完了しなかった

公平さのために決めていること

点数が実際の使い心地とずれないよう、次の条件をそろえています。限界もあわせて書きます。

採点者に伏せる

採点する AI には、A・B のどちらがスキルありかを知らせません。順番も毎回ランダムです。

条件をそろえる

同じ課題・同じ初期ファイル・同じモデル(Claude Sonnet)で動かし、違いはスキルの有無だけにします。

スター数を見ない

人気や作者は点数に入れません。人気順に選ぶのは、検証する順番を決めるためだけです。

課題の偏り(限界)

課題は SKILL.md をもとに AI が作るので、スキルが役立つ場面に寄ることがあります。採点基準には SKILL.md 独自の決まりごとを入れないようにしています。

回数の少なさ(限界)

1 件あたり課題 2 本・各最大 3 回です。2 回続けて同じ結果なら打ち切ります。点数は目安として見てください。

試せないスキル

外部サービスのアカウントや API キーが要るスキルは、隔離した環境では試せないので見送ります。

よくある質問

点数が出ていないスキルがあるのはなぜですか?

まだ実行検証をしていないスキルです。人気の高いものから 1 日 1 件ずつ検証しています。SKILL.md から確認した注意点(資料チェック)は、どのスキルにも表示しています。

有名なスキルなのに点数が低いのはなぜですか?

スキルなしの Claude Code でも十分にこなせる課題では、差が出ません。点数は「入れて何が変わったか」を測っているので、もともと Claude が得意な作業では低くなります。

点数がおかしいと思ったら?

スキルのページの資料チェック欄から見直しを依頼できます。生成物のページでは、各実行の最終メッセージと作られたファイルを確認できます。

検証に使ったモデルや日付は?

スキルのページの実行検証欄の下に、実行したモデル・採点したモデル・日付を書いています。

最近の評価

新しく実行検証したスキルです。

評価したスキルをすべて見る

動かした結果で、スキルを選ぶ

実行スコアの高い順に並べると、入れて効果が確かめられたスキルから見られます。