본문으로 건너뛰기
cccskills
무료GitHub에 공개한국어 소개

writing-evals

GitHub CLI 작업을 위한 에이전트 평가를 설계하고 수정합니다. 관찰 가능한 결과를 정의하고 이벤트 기반 동작과 반복 폴링을 구분하며, 결정적 증거와 채점기로 스킬 사용 여부에 따른 시험을 비교할 수 있습니다.

원문원문 설명 보기

Use when creating or revising GitHub CLI agent evals, especially live fixtures, skill-off/skill-on comparisons, polling or event-routing behavior, Vally definitions, deterministic graders, or slow and flaky model loops.

cli/cli스타 47,066(GitHub 47,066 + cccskills 0)
연동 도구GitHub

실행 점수 미검증

설치 방법 보기

이럴 때 유용합니다

  • 이벤트 알림 평가 설계
  • 스킬 사용 여부에 따른 시험 비교
  • 에이전트의 폴링 여부 확인
  • 불안정한 평가 실패 원인 정리

한국어 소개

할 수 있는 일

GitHub CLI를 사용하는 에이전트의 평가를 설계하고 수정하는 데 도움을 줍니다. 요청한 결과가 실제로 발생했는지, 전용 이벤트 명령이 각 변경을 관찰했는지, 에이전트가 이벤트를 기다리는 대신 상태를 반복해서 읽었는지를 나누어 확인합니다. 평가 전에 기대 동작을 관찰 가능한 조건으로 정하고, 명령 인수와 출력, 작업을 수행한 주체, 종료 상태, 최종 상태 등의 증거를 기록하도록 안내합니다. 스킬을 끈 시험과 켠 시험을 비교할 때는 일반적인 동작 실패와 인증 또는 환경 같은 기반 시설 문제를 구분합니다. 결정적 채점기를 사용하면 작업이 완료되었다는 사실만으로 이벤트 전달이 작동했다고 판단하는 일을 줄일 수 있습니다.

이럴 때 유용합니다

이벤트 알림을 다루는 에이전트의 평가를 만들거나, 스킬 사용 여부에 따른 시험을 비교하거나, 느리고 불안정한 모델 실행의 실패 원인을 살펴볼 때 유용합니다. 기존 평가에서 이벤트 확인, 대기 방식, 채점 기준이 뒤섞여 있을 때 이를 정리하는 데도 쓸 수 있습니다.

사용 예시

  • “이벤트 평가에서 폴링과 이벤트 대기를 따로 채점하도록 설계해 주세요.”
  • “환경 오류를 일반 실패로 세지 않도록 비교 기준을 정해 주세요.”

주의 사항

이 지침은 잠정적이므로 여러 차례 시험을 거쳐 다시 검토하고, 결과가 다르면 반례를 보존해야 합니다. Vally 정의와 실행기 및 채점기 플러그인 사용을 권장합니다. 자료는 긴 모델 시험 전에 단위 테스트, 오프라인 재생, 스모크 테스트를 차례로 진행하도록 안내합니다. 시간상 겹쳤다는 사실만으로 이벤트 경로가 성공했다고 판단하지 않습니다.

이 소개문은 공개된 SKILL.md를 바탕으로 AI(OpenAI Codex)가 작성했습니다. 정확한 사양은 아래 원문을 확인하세요.

문서 점검

AI가 SKILL.md의 내용에서 주의가 필요한 작업과 도입 전제를 확인했습니다. 점수는 실제로 실행한 결과(실행 검증)만으로 매깁니다.

안전성전송·삭제·명령 실행 등을 명시하고 있는가
A양호별도 주체, 명시적 인증 정보, 정리 절차를 요구합니다.
도입의 용이성필요한 도구나 API 키가 적고 적혀 있는가
B일부 부족Vally와 실행기·채점기 플러그인을 권장하지만 설치 절차는 없습니다.

점수에는 넣지 않았습니다. 2026년 11월 18일 기준으로 AI(OpenAI Codex)가 판정했습니다. 참고용이므로 설치 전에 원문도 확인해 주세요.

평가가 다르다고 생각되면 재검토를 요청하기

어느 항목이 왜 다르다고 생각하는지 적어 주세요. 로그인은 필요 없습니다. SKILL.md와 대조해 평가를 다시 만들고 이곳에 반영합니다.

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

포함된 파일(2)

  • SKILL.md3.4 KB
  • references/design-notes.md5.3 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

agentic-workflows

무료요약 있음

GitHub Agentic Workflows 요청이 설계, 생성, 설정, 수정, 디버깅, 업그레이드 중 무엇인지 구분해 알맞은 프롬프트나 스킬 파일로 안내합니다.

  • 새 워크플로 설계 또는 생성
  • 기존 워크플로 수정
  • 워크플로 오류 조사
cli/cli4.7만2026년 11월 7일 업데이트

Exercise a real command-line program with specified cases or a stated goal, then capture and verify the observed behavior. It produces local media evidence such as a session video, helping reviewers see what the command did without treating the recording as proof of general correctness.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Record specified CLI test cases
  • Demonstrate a command’s behavior
  • Validate an interactive terminal workflow
cli/cli4.7만2026년 11월 19일 업데이트

cli-exercise-evidence

무료요약 있음

명령줄 연습의 기대 결과를 기록된 증거와 대조하고, 요청된 미디어를 렌더링해 점검한 뒤 사례별 결과와 로컬 산출물 경로를 제공합니다. 기본적으로 증거를 공개하지 않습니다.

  • 명령줄 연습의 기대 결과를 검증할 때
  • 기록에서 동영상 증거를 만들 때
  • 동영상이나 화면 내용을 점검할 때
cli/cli4.7만2026년 10월 31일 업데이트

cli-exercise-exact

무료요약 있음

지정된 CLI 테스트의 명령, 입력, 순서, 기대 조건을 바꾸지 않고 실행하도록 안내합니다. 사례별 준비·실행·검증 후 실제 증거에 따라 통과, 실패, 차단 또는 관찰로 분류합니다.

  • 지정된 그대로 CLI 테스트 실행
  • 입력과 사례 순서 보존
  • 기대 결과를 실제 출력과 대조
cli/cli4.7만2026년 10월 31일 업데이트

cli-exercise-explore

무료요약 있음

승인된 범위 안에서 목표에 맞는 CLI 확인 항목을 정하고, 각 항목의 준비·실행·즉시 검증을 차례로 진행합니다. 증거로 확인된 결과와 도달하지 못한 동작을 구분해 정리합니다.

  • 목표에 맞춰 CLI 작업 확인
  • 업로드 완료 조건 정리
  • 작업마다 준비와 검증 수행
cli/cli4.7만2026년 10월 31일 업데이트

cli-exercise-preflight

무료요약 있음

`cli-exercise` 내부 모듈로 빌드, 터미널, 미디어 도구의 사용 가능 여부를 확인합니다. 의존 항목이 없으면 설치 경로를 제안하고 승인을 받은 뒤 설치하며, 완료 후 준비 상태를 다시 확인합니다. 녹화나 다른 작업 권한을 부여하지는 않습니다.

  • 녹화 전 필요한 도구 확인
  • 동영상 또는 GIF 출력 지원 확인
  • 누락된 의존 항목의 설치 절차 확인
cli/cli4.7만2026년 10월 31일 업데이트

cli의 스킬 모두 보기

이 스킬의 문제 신고