通过BigQuery查询Google Cloud审计日志,检查AI代理访问的资源、调用主体和权限错误,并帮助区分VPC Service Controls边界拒绝与IAM权限不足。
- 审计代理访问过的资源
- 识别调用代理的主体
- 排查VPC Service Controls或IAM拒绝
根据智能体的真实运行记录和人工评判,制定评估标准与指标。对比评分差异后调整规则和阈值,并在获批后将指标注册到 Agent Platform 评估服务。
Customizes an autorater (evaluation metric) for an AI agent so its grades match the user's own judgment, starting from the agent's real trajectories. Use when a user wants a metric tailored to their agent, wants to turn failing trajectories into rubrics, says an existing autorater grades their agent wrong, or wants an autorater to agree with human labels (autorater hillclimbing, judge calibration). Don't use for quick evals with built-in metrics or for improving the agent itself (use agent-platform-eval-flywheel).
实测评分 未实测
查看安装方法本技能根据智能体的真实运行记录和使用者关注的行为,制定评估标准与评分指标。它可以提出可从记录中找到依据的检查项,例如回答是否正确、工具选择是否恰当、是否遵循指令,以及如何处理错误或澄清请求。之后会将标准整理成合适的形式,例如代码检查或由大语言模型执行的检查清单。评估服务生成的结果会汇总到审阅页面,供你与人工标注进行比较,并调整规则、权重和通过阈值。获得批准后,指标可以注册到服务中,交付内容包括标准、定义和结果。
当现有评分器无法按预期评估智能体,或你想从失败记录中提炼可重复使用的标准时,可以使用本技能。它也适用于评估多轮对话和包含工具调用的记录。此技能的工作重点是让自动评分更接近人工判断。
本技能使用 Google Cloud Agent Platform 评估服务,需要 Python SDK、gcloud CLI、已启用计费的项目、已启用的 API、身份验证和必要权限。评估调用会产生费用。运行评估前,请确认记录可以发送到该服务,并核实费用。注册指标也需要获得批准。
本介绍由 AI(OpenAI Codex)根据公开的 SKILL.md 撰写。准确的规格请查看下方原文。
AI 根据 SKILL.md 的内容检查了需要注意的操作和使用前提。评分只依据实际运行的结果(实测对比)。
不计入评分。 由 AI(OpenAI Codex)于 2026年11月14日 评估。仅供参考,安装前请同时查看原文。
安装前可以查看交给 AI 代理的指令内容。
还没有评价。欢迎分享你的使用感受。
无需登录即可发表。欢迎分享使用感受、提问,或说明在哪些环境下无法运行。
还没有评论。来写第一条吧。
通过BigQuery查询Google Cloud审计日志,检查AI代理访问的资源、调用主体和权限错误,并帮助区分VPC Service Controls边界拒绝与IAM权限不足。
为 AI 代理创建 Terraform 告警配置,监控延迟、错误、令牌用量、安全信号和响应质量。先检查遥测数据与现有策略、避免重复并验证配置;质量告警需要 Vertex AI。
设计并验证企业级 Gemini 平台方案,梳理多项目配置、网络、身份认证、治理策略与安全措施,并整理部署配置和上线后的检查项。
将Model Garden模型部署到Agent Platform端点,查询兼容硬件与预估时价,跟踪部署、测试推理,并在使用后撤下模型和清理端点。
管理 Agent Platform 中接收模型在线预测请求的端点,包括列表、查看详情、创建、更新和删除,并排查权限、配额及资源繁忙错误。
在 Google Cloud 上评估 AI 模型和智能体,通过整理测试数据、选择评分指标、生成模拟用户场景、分析失败案例并比较修改前后的结果,为提示词和代码改进提供依据。