frontend-design の検証:実行スコア49、効果は目立たず

結論

frontend-design(anthropics/skills)の実行スコアは 100 点中 49 点でした。変化の分類は「目立った効果なし」です。

品質の比較では、スキルありが勝った回はありませんでした。スキルなしが 1 回勝ち、1 回は引き分けです。品質スコアはスキルなしが 95.9、スキルありが 91.7 で、差は -4.2 でした。

所要時間とトークンはスキルありのほうがわずかに増え、コストはわずかに減りました。スキルは検証した 2 回とも読み込まれています。

何を試したか

検証日は 2026-10-23 です。実行モデルは claude-sonnet-5-5、採点モデルは claude-opus-5-5 でした。

課題は 1 つで、「市民種子図書館のランディングページを一から制作」です。brief.md の内容をもとに、index.html と styles.css で 1 ページのサイトを作らせました。条件は次のとおりです。

• CDN、Web フォント、フレームワークを使わず、完全にオフラインで動くこと
• 実際の内容を使い、スマートフォンでも見やすいこと
• 最後に、選んだ視覚的方向性とその理由を短くまとめること

採点基準は 6 項目です。

• オフラインで動作すること
• brief の実内容を使っていること
• 題材に合った見た目であること
• 先頭部分と主ボタンが、最初の 1 袋を借りる方法へ案内していること
• スマートフォンで表示できること
• 基本的なアクセシビリティを満たすこと

各条件を 2 回ずつ実行し、スキルなしとスキルありを組にして比較しました。

結果(数値)

実行スコアは 5 つの要素の合計です。配点は品質 45、速さ 15、トークン 15、発動 15、安定 10 です。

要素	得点	配点
品質	12.5	45
速さ	7.1	15
トークン	6.5	15
発動	15	15
安定	7.5	10
合計(実行スコア)	49	100

発動は満点で、スキルの読み込み率は 100% でした。品質の得点が配点の 45 に対して 12.5 にとどまり、これが合計を押し下げています。

各条件の中央値は次のとおりです。失敗した実行はどちらも 0 回でした。

• 所要時間:スキルなし 57,265 ms、スキルあり 59,037 ms(3% 増)
• トークン:スキルなし 78,653、スキルあり 84,010(7% 増)
• コスト:スキルなし 0.1364 ドル、スキルあり 0.1302 ドル(5% 減)
• ターン数:スキルなし 6、スキルあり 6.5

課題ごとの判定

市民種子図書館のランディングページを一から制作

判定は、スキルなしが 1 勝、引き分けが 1 でした。スキルありの勝ちはありません。

1 回目は引き分けです。どちらも実際の内容を使い、引き出し型のカード目録のデザインでした。オフラインとレスポンシブの条件も満たしていて、採点基準の達成率は両者とも 91.7% でした。

2 回目はスキルなしの勝ちです。達成率はスキルなしが 100%、スキルありが 91.7% でした。

採点理由によると、スキルなし側の主ボタンは「最初の1袋の借り方」へ直接案内していました。スキルあり側の主ボタンは住所への誘導でした。brief が主な目的として挙げているのは最初の 1 袋を借りることなので、この差が勝敗を分けています。

向いている人・向いていない人

向いている人

この検証だけでは、スキルを入れる強い理由は見つかりませんでした。個性的な見た目の指示を出す場面で試したい人は、自分の課題で比べてみる価値はあります。1 回目では、スキルありもスキルなしと同水準の出力でした。

向いていない人

品質の向上を期待して入れる人には向きません。この検証では、品質スコアがスキルなしより 4.2 低くなりました。トークンも中央値で 7% 増えています。

検証の限界

課題は SKILL.md をもとに AI が作ったものです。実際の利用者が持ち込む依頼とは異なる可能性があります。

課題数は 1 つ、実行回数は条件ごとに 2 回です。勝敗は 2 回分の結果にすぎず、2 回目の差も、主ボタンの向き先という 1 点によるものです。

所要時間・トークン・コストの差(3%、7%、-5%)は、この回数ではぶれの範囲かどうかを判断できません。他の種類の課題で同じ傾向になるかは、このデータからは分かりません。