跳到正文
cccskills
免费在 GitHub 公开中文介绍

create-custom-grader

将现有基准测试、评分规则、任务文件或验证器转换为 SkillEvaluator 自定义评分文件,整理测试用例与输入,并验证评分契约。

原文查看原文说明

Use when converting an existing benchmark, rubric, verifier, task YAML/JSON, or domain check into SkillEvaluator BYOG/BYOT custom evaluation.

NVIDIA/SkillEvaluator星标 3,629(GitHub 3,629 + cccskills 0)

实测评分 未实测

查看安装方法

适用场景

  • 把现有基准接入 SkillEvaluator
  • 根据评分规则编写评分代码
  • 在报告中加入自定义指标
  • 验证 Harbor 任务文件和奖励输出

中文介绍

功能

此技能可将现有基准测试、评分规则、验证代码,以及 task.yaml、task.json 等文件转换为 SkillEvaluator 可运行的自定义评分器。它会整理目标技能、测试用例、输入文件和评分项目,并创建 evals/grader.py 或 evals/grader.sh。根据评估目的,可以选择 default_plus_custom,在默认评分指标之外加入自定义指标;也可以选择 custom_only,由自定义评分器决定通过或不通过。必要时还可处理 Harbor 格式的任务,并检查文件结构和奖励输出是否符合约定。

适用场景

适合使用 SkillEvaluator 评估团队维护的基准测试或特定领域检查项。如果评分规则中有需要判断的内容,可以将其整理为可观察的代理指标,并说明这些指标的局限。

使用示例

  • “请把这个基准测试转换为 SkillEvaluator 自定义评分器。”
  • “请把这份评分规则转换成 grader.py 和自定义指标。”
  • “请让 task.yaml 和验证脚本能够按 Harbor 格式评估。”

注意事项

目标技能目录中必须有 SKILL.md,并且需要使用 skillevaluator 命令行工具。完整的端到端评估可能还需要代理凭据、沙盒、GPU 或服务凭据,具体取决于基准测试。生成的脚手架本身不包含足够的评分逻辑;本地验证只能确认文件约定,不能证明实际代理行为。

本介绍由 AI(OpenAI Codex)根据公开的 SKILL.md 撰写。准确的规格请查看下方原文。

文档检查

AI 根据 SKILL.md 的内容检查了需要注意的操作和使用前提。评分只依据实际运行的结果(实测对比)。

安全性发送数据、删除文件、执行命令等是否有说明
B部分不足会编写评分文件并可能运行评估;提及凭据需求,但凭据处理确认步骤有限。
安装难易度所需工具和 API 密钥是否少且有说明
B部分不足需要 `SKILL.md` 和命令行工具;完整评估可能还需要凭据等资源。

不计入评分。 由 AI(OpenAI Codex)于 2026年11月16日 评估。仅供参考,安装前请同时查看原文。

如果您认为评估有误,请申请复核

请写明哪一项有误以及原因。无需登录。我们会对照 SKILL.md 重新评估,并在此处更新结果。

此表单受 reCAPTCHA 保护,适用 Google 的隐私权政策和服务条款。

包含的文件(11)

  • SKILL.md8.4 KB
  • evals/evals.json4.0 KB
  • evals/files/create-custom-grader-001/benchmark/code/fixtures/orders.csv47 B
  • evals/files/create-custom-grader-001/benchmark/code/totals.py419 B
  • evals/files/create-custom-grader-001/benchmark/prompts/direct.md167 B
  • evals/files/create-custom-grader-001/benchmark/prompts/vague.md78 B
  • evals/files/create-custom-grader-001/benchmark/rubric.md398 B
  • evals/files/create-custom-grader-001/benchmark/task.yaml298 B
  • evals/files/create-custom-grader-002/csv-summary/evals/evals.json522 B
  • evals/files/create-custom-grader-002/csv-summary/evals/files/sales.csv54 B
  • evals/files/create-custom-grader-002/csv-summary/scripts/summarize.py1.0 KB

SKILL.md(原文)

安装前可以查看交给 AI 代理的指令内容。

评价

还没有评价。欢迎分享你的使用感受。

评论

无需登录即可发表。欢迎分享使用感受、提问,或说明在哪些环境下无法运行。

还没有评论。来写第一条吧。

提交后会立即公开。请勿填写邮箱、电话等个人信息。URL 最多 2 个。

0 / 1000 字

此表单受 reCAPTCHA 保护,适用 Google 的隐私权政策和服务条款。

同一仓库的技能

api-caller

免费有简介

可从 OpenAPI 或 Swagger 规范中查找操作,也可直接调用 REST 接口。支持 GET、POST、PUT、DELETE 请求,可设置参数、请求头和 JSON 正文,并查看响应及可恢复的错误信息。

  • 从 API 规范中查找接口
  • 从已知网址获取数据
  • 用 JSON 创建或更新数据
NVIDIA/SkillEvaluator36292026年11月18日 更新

calculator

免费有简介

计算四则运算、百分比和乘方,也可换算温度、距离和重量等常见单位。输入算式或换算要求即可获得简短结果,无需安装外部依赖。

  • 计算百分比
  • 计算含乘方的算式
  • 换算摄氏度和华氏度
NVIDIA/SkillEvaluator36292026年11月18日 更新

skillevaluator

免费有简介

分阶段检查智能体技能的格式、质量和安全性,查找重复内容,并比较使用与不使用技能时的运行结果。还可准备评测用例、解读报告和退出代码,或在 CI 中添加检查。

  • 发布前检查技能质量和安全性
  • 查找技能内部或技能集中的重复内容
  • 准备评测用例和配置文件
NVIDIA/SkillEvaluator36292026年11月18日 更新

task-list

免费

Use this skill to track requests with four or more steps or several operations in sequence. It creates a concise task list before work begins, marks one task as in progress, and updates each task as it is completed.

中文简介正在准备中。当前显示英语简介。

  • Tracking a request with four or more distinct steps
  • Keeping several sequential operations organized
  • Updating task status as work progresses
NVIDIA/SkillEvaluator36292026年11月18日 更新

text-analyzer

免费有简介

统计输入文本或文本文件的词数、行数、含空白的字符数、估算句数、平均词长和出现最多的五个词,并以易读报告或 JSON 返回。

  • 核对稿件的词数和字符数
  • 查看文本文件的行数
  • 了解文本中的高频词
NVIDIA/SkillEvaluator36292026年11月18日 更新

查看 NVIDIA 的全部技能

报告此技能的问题