可从 OpenAPI 或 Swagger 规范中查找操作,也可直接调用 REST 接口。支持 GET、POST、PUT、DELETE 请求,可设置参数、请求头和 JSON 正文,并查看响应及可恢复的错误信息。
- 从 API 规范中查找接口
- 从已知网址获取数据
- 用 JSON 创建或更新数据
将现有基准测试、评分规则、任务文件或验证器转换为 SkillEvaluator 自定义评分文件,整理测试用例与输入,并验证评分契约。
Use when converting an existing benchmark, rubric, verifier, task YAML/JSON, or domain check into SkillEvaluator BYOG/BYOT custom evaluation.
实测评分 未实测
查看安装方法此技能可将现有基准测试、评分规则、验证代码,以及 task.yaml、task.json 等文件转换为 SkillEvaluator 可运行的自定义评分器。它会整理目标技能、测试用例、输入文件和评分项目,并创建 evals/grader.py 或 evals/grader.sh。根据评估目的,可以选择 default_plus_custom,在默认评分指标之外加入自定义指标;也可以选择 custom_only,由自定义评分器决定通过或不通过。必要时还可处理 Harbor 格式的任务,并检查文件结构和奖励输出是否符合约定。
适合使用 SkillEvaluator 评估团队维护的基准测试或特定领域检查项。如果评分规则中有需要判断的内容,可以将其整理为可观察的代理指标,并说明这些指标的局限。
目标技能目录中必须有 SKILL.md,并且需要使用 skillevaluator 命令行工具。完整的端到端评估可能还需要代理凭据、沙盒、GPU 或服务凭据,具体取决于基准测试。生成的脚手架本身不包含足够的评分逻辑;本地验证只能确认文件约定,不能证明实际代理行为。
本介绍由 AI(OpenAI Codex)根据公开的 SKILL.md 撰写。准确的规格请查看下方原文。
AI 根据 SKILL.md 的内容检查了需要注意的操作和使用前提。评分只依据实际运行的结果(实测对比)。
不计入评分。 由 AI(OpenAI Codex)于 2026年11月16日 评估。仅供参考,安装前请同时查看原文。
安装前可以查看交给 AI 代理的指令内容。
还没有评价。欢迎分享你的使用感受。
无需登录即可发表。欢迎分享使用感受、提问,或说明在哪些环境下无法运行。
还没有评论。来写第一条吧。
可从 OpenAPI 或 Swagger 规范中查找操作,也可直接调用 REST 接口。支持 GET、POST、PUT、DELETE 请求,可设置参数、请求头和 JSON 正文,并查看响应及可恢复的错误信息。
计算四则运算、百分比和乘方,也可换算温度、距离和重量等常见单位。输入算式或换算要求即可获得简短结果,无需安装外部依赖。
分阶段检查智能体技能的格式、质量和安全性,查找重复内容,并比较使用与不使用技能时的运行结果。还可准备评测用例、解读报告和退出代码,或在 CI 中添加检查。
Use this skill to track requests with four or more steps or several operations in sequence. It creates a concise task list before work begins, marks one task as in progress, and updates each task as it is completed.
中文简介正在准备中。当前显示英语简介。
统计输入文本或文本文件的词数、行数、含空白的字符数、估算句数、平均词长和出现最多的五个词,并以易读报告或 JSON 返回。