跳到正文
cccskills
Google 官方免费在 GitHub 公开中文介绍

agent-platform-autorater-customization

根据智能体的真实运行记录和人工评判,制定评估标准与指标。对比评分差异后调整规则和阈值,并在获批后将指标注册到 Agent Platform 评估服务。

原文查看原文说明

Customizes an autorater (evaluation metric) for an AI agent so its grades match the user's own judgment, starting from the agent's real trajectories. Use when a user wants a metric tailored to their agent, wants to turn failing trajectories into rubrics, says an existing autorater grades their agent wrong, or wants an autorater to agree with human labels (autorater hillclimbing, judge calibration). Don't use for quick evals with built-in metrics or for improving the agent itself (use agent-platform-eval-flywheel).

google/skills星标 24,365(GitHub 24,365 + cccskills 0)

实测评分 未实测

查看安装方法

适用场景

  • 根据运行记录制定评估标准
  • 让评分器更符合人工判断
  • 评估包含工具调用的记录
  • 检查自动评分与人工评分差异

中文介绍

功能

本技能根据智能体的真实运行记录和使用者关注的行为,制定评估标准与评分指标。它可以提出可从记录中找到依据的检查项,例如回答是否正确、工具选择是否恰当、是否遵循指令,以及如何处理错误或澄清请求。之后会将标准整理成合适的形式,例如代码检查或由大语言模型执行的检查清单。评估服务生成的结果会汇总到审阅页面,供你与人工标注进行比较,并调整规则、权重和通过阈值。获得批准后,指标可以注册到服务中,交付内容包括标准、定义和结果。

适用场景

当现有评分器无法按预期评估智能体,或你想从失败记录中提炼可重复使用的标准时,可以使用本技能。它也适用于评估多轮对话和包含工具调用的记录。此技能的工作重点是让自动评分更接近人工判断。

使用示例

  • “根据这些运行记录制定评估回答准确性的标准。”
  • “找出评分器与人工判断不一致的案例,并据此调整标准。”

注意事项

本技能使用 Google Cloud Agent Platform 评估服务,需要 Python SDK、gcloud CLI、已启用计费的项目、已启用的 API、身份验证和必要权限。评估调用会产生费用。运行评估前,请确认记录可以发送到该服务,并核实费用。注册指标也需要获得批准。

本介绍由 AI(OpenAI Codex)根据公开的 SKILL.md 撰写。准确的规格请查看下方原文。

文档检查

AI 根据 SKILL.md 的内容检查了需要注意的操作和使用前提。评分只依据实际运行的结果(实测对比)。

安全性发送数据、删除文件、执行命令等是否有说明
A良好明确要求确认记录发送和费用,并在注册指标前获得批准。
安装难易度所需工具和 API 密钥是否少且有说明
B部分不足列出了 SDK、gcloud、计费、API、身份验证和 IAM 权限要求。

不计入评分。 由 AI(OpenAI Codex)于 2026年11月14日 评估。仅供参考,安装前请同时查看原文。

如果您认为评估有误,请申请复核

请写明哪一项有误以及原因。无需登录。我们会对照 SKILL.md 重新评估,并在此处更新结果。

此表单受 reCAPTCHA 保护,适用 Google 的隐私权政策和服务条款。

包含的文件(12)

  • SKILL.md14.1 KB
  • references/attribution.md1.9 KB
  • references/converting_trajectories.md1.9 KB
  • references/metric_templates.md24.0 KB
  • references/multi_turn.md2.0 KB
  • references/noise_and_agreement.md1.2 KB
  • references/sdk_gotchas.md2.7 KB
  • references/writing_checks.md1.4 KB
  • scripts/agreement.py6.9 KB
  • scripts/build_review_page.py10.2 KB
  • scripts/render_agent_data.py3.3 KB
  • scripts/run_metrics.py6.2 KB

SKILL.md(原文)

安装前可以查看交给 AI 代理的指令内容。

评价

还没有评价。欢迎分享你的使用感受。

评论

无需登录即可发表。欢迎分享使用感受、提问,或说明在哪些环境下无法运行。

还没有评论。来写第一条吧。

提交后会立即公开。请勿填写邮箱、电话等个人信息。URL 最多 2 个。

0 / 1000 字

此表单受 reCAPTCHA 保护,适用 Google 的隐私权政策和服务条款。

同一仓库的技能

agent-platform-access-audit

Google 官方免费有简介

通过BigQuery查询Google Cloud审计日志,检查AI代理访问的资源、调用主体和权限错误,并帮助区分VPC Service Controls边界拒绝与IAM权限不足。

  • 审计代理访问过的资源
  • 识别调用代理的主体
  • 排查VPC Service Controls或IAM拒绝
google/skills2.4万2026年11月4日 更新

agent-platform-alert-configuration

Google 官方免费有简介

为 AI 代理创建 Terraform 告警配置,监控延迟、错误、令牌用量、安全信号和响应质量。先检查遥测数据与现有策略、避免重复并验证配置;质量告警需要 Vertex AI。

  • 监控代理延迟和错误率
  • 告警令牌用量突然增加
  • 跟踪安全触发和权限拒绝
google/skills2.4万2026年10月31日 更新

agent-platform-architecture

Google 官方免费有简介

设计并验证企业级 Gemini 平台方案,梳理多项目配置、网络、身份认证、治理策略与安全措施,并整理部署配置和上线后的检查项。

  • 设计企业 Gemini 平台
  • 规划多项目架构
  • 确定代理的网络路径和身份
google/skills2.4万2026年11月18日 更新

agent-platform-deploy

Google 官方免费有简介

将Model Garden模型部署到Agent Platform端点,查询兼容硬件与预估时价,跟踪部署、测试推理,并在使用后撤下模型和清理端点。

  • 选择可部署模型和硬件
  • 审批前估算每小时费用
  • 查看部署状态并测试推理
google/skills2.4万2026年11月18日 更新

agent-platform-endpoint-management

Google 官方免费有简介

管理 Agent Platform 中接收模型在线预测请求的端点,包括列表、查看详情、创建、更新和删除,并排查权限、配额及资源繁忙错误。

  • 列出端点并查看配置
  • 部署模型前创建端点
  • 修改显示名称或标签
google/skills2.4万2026年11月18日 更新

agent-platform-eval-flywheel

Google 官方免费有简介

在 Google Cloud 上评估 AI 模型和智能体,通过整理测试数据、选择评分指标、生成模拟用户场景、分析失败案例并比较修改前后的结果,为提示词和代码改进提供依据。

  • 从对话记录制作评估数据
  • 生成模拟用户场景
  • 选择回答和工具使用指标
google/skills2.4万2026年11月3日 更新

查看 google 的全部技能

报告此技能的问题