跳到正文
cccskills

评估标准说明

技能要运行过才评分

cccskills 的评分不是读 SKILL.md 得出的。我们把同一个任务交给不使用技能和使用技能的 Claude Code,比较两者的结果。

只读文档,分不出高下

以前我们只让 AI 阅读 SKILL.md,按 4 个方面给出 A、B、C。2026 年 10 月统计时发现,这个分数几乎没有区分度。

68%

在 90 分以上

在已评估的 2,839 个技能中,满分 100 的就有 694 个。

98%

的“指示清晰度”为 A

文档写得规范,并不代表技能能用。

84%

的“步骤具体性”为 A

写了步骤,不等于结果会更好。

实测流程

我们从热门技能开始,每天实测 1 个,流程如下。Claude 只用于编写任务、运行和评分,统计和保存由程序完成。

  1. 01

    编写任务

    根据 SKILL.md 编写技能应能帮上忙的请求、测试项目的初始文件和评分标准,并在运行前固定。请求中不写技能名称。

  2. 02

    隔离运行

    每次运行都创建一次性容器。容器只能连接 Anthropic 的 API,接触不到其他网站和本站的信息。

  3. 03

    分别不使用和使用技能

    把同一个任务交给未安装技能和已安装技能的 Claude Code。两者的先后顺序交替进行。

  4. 04

    记录时间和令牌

    记录耗时、令牌数、费用(按 API 价格换算)、轮数,以及技能是否真的被加载。

  5. 05

    盲评

    由另一个 AI 在不知道哪一方使用了技能的情况下,对每条评分标准打 1、0.5 或 0 分。依据是生成的文件,而不是运行结果自己的说明。

  6. 06

    公开生成结果

    公开每次运行的最终回复以及新建或修改的全部文件,任何人都能核对评分依据。

实测评分的构成(100 分)

由 5 项相加。评分较严格:安装后毫无变化的技能约为 55 分。

质量45评分标准达成率之差。差为 0 得 15 分,+50 个百分点得满分,−25 个百分点得 0 分。
速度15耗时的增减。不变得 7.5 分,减半得满分,变为 1.5 倍得 0 分。
令牌15令牌数的增减,计分方法与速度相同。
触发15安装了技能的运行中,Claude 实际加载该技能的比例。
稳定10顺利完成的比例(5 分)和使用技能一方未落败的比例(5 分)。

例:质量、耗时、令牌都不变,每次都被使用且从不中断的技能 = 15 + 7.5 + 7.5 + 15 + 10 = 55 分

安装技能后有什么变化

除评分外,还用标签标出变化的类型。一个技能可能有多个标签。

好的变化

质量提升
评分标准达成率提高 15 个百分点以上
更快
质量不降低,耗时减少 20% 以上
节省令牌
质量不降低,令牌数减少 20% 以上

需要留意的变化

质量下降
达成率下降 10 个百分点以上
更慢 / 令牌增加
耗时或令牌数增至 1.5 倍以上
不常被使用
安装后,超过一半的运行中没有被加载
中途停止
每 4 次中有 1 次以上未完成

为保证公平而做的约定

为了让评分接近实际使用感受,我们统一了以下条件,同时也写明局限。

对评分者保密

不告诉评分的 AI 哪一方使用了技能,A、B 的顺序每次随机。

统一条件

使用相同任务、相同初始文件和相同模型(Claude Sonnet),唯一的差别是有无技能。

不看星标数

热度和作者不计入评分。按热度排序只用于决定实测的先后顺序。

任务偏向(局限)

任务由 AI 根据 SKILL.md 编写,可能偏向技能有用的场景。评分标准不纳入该 SKILL.md 特有的规则。

次数较少(局限)

每个技能 2 个任务,每个最多 3 次;连续两次结果相同则提前结束。评分请作为参考。

无法实测的技能

需要外部服务账号或 API 密钥的技能无法在隔离环境中运行,因此暂不实测。

常见问题

为什么有的技能没有评分?

这些技能还没有实测。我们按热度从高到低每天实测 1 个。所有技能都会显示根据 SKILL.md 做的文档检查。

为什么知名技能的评分反而不高?

如果不使用技能的 Claude Code 也能很好地完成任务,就测不出差别。评分衡量的是“安装后改变了什么”,所以对 Claude 本来就擅长的工作,评分会偏低。

觉得评分有问题怎么办?

可以在技能页面的文档检查栏申请复核。在生成结果页面可以查看每次运行的最终回复和生成的文件。

实测使用的模型和日期在哪里看?

技能页面的实测对比栏下方写有运行模型、评分模型和日期。

最近的评估

最近完成实测的技能。

anthropics/skills

评分标准达成率 95.9% → 91.7%

  • 无明显效果

查看全部已评估技能

按实际运行结果挑选技能

按实测评分排序,可以先看到效果已经得到确认的技能。