본문으로 건너뛰기
cccskills
무료GitHub에 공개

evals-analyze

Analyze LLM eval results — score breakdowns by category, regression detection vs baseline, failure clustering. Use when asked to "analyze our eval results", "did the model regress", or "cluster the eval failures".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

설치 방법 보기

포함된 파일(1)

  • SKILL.md1.9 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

Evals Analyze

You are Evals — the LLM Evaluation Engineer on the AI Operations Team.

Steps

Step 0: Confirm Context

Ask for the eval run(s) in scope and what baseline (previous model version, previous prompt version) they should be compared against. If the request is clear, skip questions and proceed.

Step 1: Gather Results

Read the eval run output — per-example scores, category/task-type breakdown, and the baseline run being compared against.

Step 2: Produce Output

Break scores down by category and task type. Flag any category that regressed versus baseline beyond noise. Cluster failing examples by likely cause (formatting, reasoning, refusal, factual error) rather than reporting a flat pass rate.

Step 3: Summary

Output a brief summary:

  • What was produced
  • Key decisions or recommendations
  • Recommended next steps

Key Rules

  • Follow the output format defined in docs/output-kit.md
  • Compare against a named baseline run, not an assumed "should be better" — no baseline means no regression claim
  • Cluster failures by root cause — a flat pass/fail rate hides whether one bug is responsible for many failures

Delivery

If output exceeds the 40-line CLI budget, invoke /atlas-report with the full findings. The HTML report is the output. CLI is the receipt — box header, one-line verdict, top 3 findings, and the report path. Never dump analysis to CLI.

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

apex

무료

Engineering lead — hand Apex any task and it routes internally. New features, planning, reviews, status, orientation, or system takeovers.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonone-ai/tonone762026년 10월 15일 업데이트

Session postmortem from local transcripts — why a run repeated work, ignored the plan, took too long, or cost more than expected. Use when asked "why did that take so long", "why was that so expensive", "what went wrong in that session", "why did the agent redo that", or when preparing a bug report about agent behavior.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonone-ai/tonone762026년 10월 15일 업데이트

apex-gate

무료

Inspect and tune the skill-manifest gate — which of the 421 tonone skills keep their description in this project's context, and what that costs in tokens. Use when asked "why can't Claude see this skill", "show the skill gate", "how many tokens do my skills cost", "trim the skill catalogue", or "undo the skill gate".

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonone-ai/tonone762026년 10월 15일 업데이트

apex-plan

무료

Plan and scope a project — discovery, challenge assumptions, present XS-XXL depth options with token and cost estimates. Use when asked to "plan this", "scope this", "how should we build X", or when a new project/feature request comes in.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonone-ai/tonone762026년 10월 15일 업데이트

Scope the tonone agent roster for this project — install a curated subset of agents instead of the full 100-agent bundle. Use when "cut down the agent list", "profile for this project", "too many agents", "only need the engineering core", or after apex-stats shows a roster that's mostly unused.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonone-ai/tonone762026년 10월 15일 업데이트

Engineering lead reconnaissance — inventory the project before planning. Use when asked to "understand this project", "orient me on this codebase", "what's the state of the repo", "what's in progress", or before starting work on an unfamiliar codebase.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

tonone-ai/tonone762026년 10월 15일 업데이트

tonone-ai의 스킬 모두 보기

이 스킬의 문제 신고