为 Agent 建立或改进评估体系时使用——设计评估指标(Pass@k/Pass^k/成本)、搭建可重复运行的评估环境、选择确定性验证器或 LLM-as-a-Judge 及各自适用边界、编写 Rubric、做失败归因与回归任务、评估驱动的模型选型、判断统计显著性、建设可观测性与内部评估基础设施(消融、AB 测试、特性开关、提示词回归)、从 Benchmark 报告走到系统改进。
日本語の概要は準備中です。原文の説明を表示しています。
为 Agent 接入第三方能力时使用——决定走 MCP 协议还是 Skill Hub 分发、搭建或选用 MCP 服务器、设计工具/资源/提示三类原语、评估引入第三方能力的 token 成本与安全风险、审查工具描述投毒与同名工具遮蔽、锁定服务器版本与配置最小权限凭证时查阅。含 MCP 客户端-服务器架构、传输层选型与供应链缓解清单。
インストールする前に、エージェントに与えられる指示の中身を確認できます。
SKILL.md 的文件夹),所以它的分发机制是包管理器式的注册表。name 和 description。npx 来装,也可以由一台 MCP 服务器供给。| 维度 | MCP(协议) | Skill Hub(注册表) |
|---|---|---|
| 分发形态 | 运行时连接,工具定义进每次会话 | 磁盘拷文件夹,常驻仅 name + description |
| 接入命令 | 配置客户端连接 | npx skills add <owner>/<repo> |
| 常驻 token 成本 | 高(全部工具 schema) | 低一到两个数量级 |
| 承载内容 | 结构化工具定义 | 自然语言流程 + 代码 |
| 代表生态 | MCP 官方服务器目录 | skills.sh(Vercel,2026-01)、ClawHub(OpenClaw 生态) |
经验法则:能力需要结构化参数、可测试、可版本化服务端逻辑时走 MCP;能力是流程性知识、变更频繁、需要人类可读可改时走 Skill。若担心 MCP 服务器越接越多导致上下文膨胀,可保留 MCP 作后端协议、前端用 CLI + Skills 或代理工具做渐进式披露——"是否用 MCP 作协议"与"会话开始时是否暴露全部工具定义"是两个独立决策。
客户端-服务器架构:MCP 服务器暴露一组工具,MCP 客户端(Agent 框架或 IDE)通过标准化协议通信。
资源与工具的分离让 Agent 能区分"获取信息"和"执行操作"两类不同性质的动作。
三类主要风险:
缓解措施(与传统软件供应链安全一脉相承):
前两项属于上下文层(把进入上下文的内容当不可信输入审计),凭证最小化属于执行层。评估一个 MCP 工具组合的整体风险,可参考"致命三要素"框架。
chapter4/perception-tools/、chapter4/execution-tools/、chapter4/collaboration-tools/)均以 MCP 服务器形式构建工具,可作为 JSON Schema 工具描述、传输配置与服务器组织的参考实现。book/chapter4.md「工具生态:MCP 与 Skill Hub」まだレビューはありません。使ってみた感想をお寄せください。
概要と使いどころ
为 Agent 建立或改进评估体系时使用——设计评估指标(Pass@k/Pass^k/成本)、搭建可重复运行的评估环境、选择确定性验证器或 LLM-as-a-Judge 及各自适用边界、编写 Rubric、做失败归因与回归任务、评估驱动的模型选型、判断统计显著性、建设可观测性与内部评估基础设施(消融、AB 测试、特性开关、提示词回归)、从 Benchmark 报告走到系统改进。
日本語の概要は準備中です。原文の説明を表示しています。
让 Agent 从运行经验中持续学习、构建自进化闭环时使用——涵盖从运行轨迹提取学习信号(三层轨迹验证)、四种进化方式(经验知识库、Prompt/Skill、程序/Harness、模型参数)的适用边界与选择依据、Prompt 自动优化、轨迹编译为程序、Agent 自我修改与安全门禁、睡眠学习与长期分层评估。触发词:持续进化、自进化、经验学习、轨迹验证器、自我修改、进化闭环。
日本語の概要は準備中です。原文の説明を表示しています。
Agent 陷入无限循环、数不清工具调用次数、遗忘 TODO 或目标偏离、长任务中思考 token 持续膨胀时使用——Agent 状态栏机制、作为 user 消息注入末尾的 KV Cache 理由、每轮替换与持久追加两种实现及成本模型、五种状态栏技术(时间戳、工具计数器、TODO、详细错误、系统状态)与维护铁律。
日本語の概要は準備中です。原文の説明を表示しています。
中文文案去「AI 味」检查清单,由用户纠正反馈持续提炼而来
日本語の概要は準備中です。原文の説明を表示しています。
构建异步/事件驱动 Agent,或让 Agent 响应外部事件(新邮件、webhook 回调、IM 消息、定时器、系统告警)、 处理工具执行期间的用户打断与多任务并发时使用。覆盖事件循环与安全点、三类事件触发工具、用户沟通与多渠道召回、 虚拟身份与隔离执行环境、队列式/取消式/并行式三种事件处理策略及紧急度判定,以及模型原生异步与同步接口兼容两条路线。 触发词:异步 Agent、事件驱动、event-driven、webhook、定时器、心跳、任务句柄、打断、steering、并行工具执行。
日本語の概要は準備中です。原文の説明を表示しています。
把生产 bad case / 失败轨迹转成训练数据时使用——从失败归因、轨迹前缀截取、DPO 偏好对构造、LoRA 训练到边界集与保留集双集验证的完整链路;也用于判断某类问题该走 SFT、DPO、RL 还是先修 Harness/工具/tokenizer,以及如何从运行轨迹中提取带证据的结构化学习信号。触发词:bad case、失败归因、DPO、偏好对、轨迹前缀、拒绝采样、过度矫正、边界集、保留集、过早结束、reward hacking、LoRA 微调、训练评估隔离。
日本語の概要は準備中です。原文の説明を表示しています。