본문으로 건너뛰기
cccskills
무료GitHub에 공개

agent-evaluation

Evaluate LLM agents and tool-using workflows—task success, tool accuracy, latency/cost, safety, and regression suites. Use when shipping agent features, comparing prompts/models, or debugging agent failures.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

설치 방법 보기

포함된 파일(1)

  • SKILL.md1.7 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

Agent evaluation

What to measure

DimensionExamples
Task successEnd state matches spec (binary or rubric)
Tool useCorrect tool, valid args, no spurious calls
SafetyNo policy violations, no secret leakage
EfficiencyTokens, latency, tool call count
StabilitySame input -> consistent outcome across runs

Workflow

  1. Define tasks — realistic user intents with clear pass/fail or scored rubric.
  2. Build dataset — golden set + edge cases (errors, ambiguous input, empty context).
  3. Run baseline — fixed model/settings; log traces (inputs, tools, outputs).
  4. Score — automated checks first; human review for ambiguous cases.
  5. Compare — A/B prompts, models, or tool schemas; report deltas with confidence notes.
  6. Gate — block release on regression in must-pass tasks.

Automated checks

  • Schema validation on tool arguments.
  • Assert final answer contains required fields or avoids forbidden content.
  • Snapshot tests for deterministic sub-steps where possible.

Human rubric (when needed)

Score 1-5 on: correctness, completeness, tone, safety. Document disagreements.

Anti-patterns

  • Eval only on cherry-picked happy paths.
  • Changing task and model simultaneously without isolation.
  • No trace logs when debugging tool failures.

Output

Summary table: variant | success rate | avg tools | avg latency | notes.

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

"Implement and select ad bidding strategies from manual CPC to automated target-CPA and target-ROAS. Use this skill when the user needs to choose a bidding strategy, set up automated bidding, or optimize bid parameters — even if they say 'what bidding strategy should I use', 'target CPA setup', or 'smart bidding configuration'.".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

charlieviettq/awesome-agent-skill262026년 7월 20일 업데이트

"Optimize advertising budget allocation across campaigns using marginal returns analysis. Use this skill when the user needs to distribute budget across multiple campaigns, optimize spend pacing, or maximize overall ROAS under budget constraints — even if they say 'how to split my ad budget', 'campaign budget optimization', or 'diminishing returns on ad spend'.".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

charlieviettq/awesome-agent-skill262026년 7월 20일 업데이트

"Build CTR prediction models for estimating ad click-through rates from features. Use this skill when the user needs to predict click probability, build an ad ranking model, or evaluate ad creative performance — even if they say 'predict click rate', 'ad relevance scoring', or 'which ad will get more clicks'.".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

charlieviettq/awesome-agent-skill262026년 7월 20일 업데이트

"Implement Generalized Second Price auction for ad slot allocation and pricing. Use this skill when the user needs to understand search ad auctions, compute ad positions and costs-per-click, or analyze bidding dynamics — even if they say 'how does Google Ads auction work', 'ad rank calculation', or 'second price auction for ads'.".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

charlieviettq/awesome-agent-skill262026년 7월 20일 업데이트

"Implement VCG mechanism for incentive-compatible ad slot allocation with truthful bidding. Use this skill when the user needs to design a truthful auction mechanism, compute externality-based payments, or understand why platforms may prefer GSP over VCG — even if they say 'truthful auction design', 'VCG payments', or 'incentive-compatible mechanism'.".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

charlieviettq/awesome-agent-skill262026년 7월 20일 업데이트

"Explain blockchain fundamentals including distributed ledger architecture, consensus mechanisms, and block structure. Use this skill when the user needs to understand blockchain concepts, evaluate whether blockchain fits a use case, or design a blockchain-based solution — even if they say 'how does blockchain work', 'do I need blockchain', or 'distributed ledger'.".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

charlieviettq/awesome-agent-skill262026년 7월 20일 업데이트

charlieviettq의 스킬 모두 보기

이 스킬의 문제 신고