본문으로 건너뛰기
cccskills
무료GitHub에 공개한국어 소개

agent-regression-evals

에이전트, 프롬프트, 모델 또는 도구를 변경하기 전후로 평가를 반복해 비교합니다. 도구 호출 경로를 점검하고 결과가 불안정한 사례를 찾으며, 대응 통계 검정으로 통과·경고·차단을 판정합니다.

원문원문 설명 보기

Use before shipping any agent, prompt, model or tool change, or when a pass-rate drop needs a verdict. Runs repeated trials, gates candidate vs baseline with paired statistics in regression_gate.py, checks tool-call trajectories and finds flaky cases.

LeoYeAI/agent-master-skills스타 2,192(GitHub 2,192 + cccskills 0)

실행 점수 미검증

설치 방법 보기

이럴 때 유용합니다

  • 변경 전후 평가 결과 비교
  • 실행마다 결과가 달라지는 사례 찾기
  • 도구 호출 절차 위반 감지
  • 통과율 하락이 우연인지 판단

한국어 소개

할 수 있는 일

에이전트, 프롬프트, 모델 또는 도구를 변경했을 때 변경 전후의 평가 결과를 비교합니다. 사례마다 최소 세 번 실행해 만든 JSONL 결과를 사용하여 도구 호출 경로가 사양에 맞는지 확인하고, 성공과 실패가 불안정한 사례를 찾습니다. 이어서 사례별 결과를 대응시켜 통계적으로 비교하고, 기준선과의 차이, 중요 사례의 실패, 사례 누락, 금지된 도구 호출 등을 바탕으로 통과, 경고 또는 차단을 판정합니다.

이럴 때 유용합니다

에이전트 변경을 배포하기 전에 통과율 변화의 근거를 확인하고 싶을 때 사용할 수 있습니다. 실행마다 결과가 흔들리는 사례를 찾거나 최종 답변뿐 아니라 도구 사용 절차도 평가할 때도 유용합니다.

사용 예시

  • “이 후보 결과를 기준선과 비교하고 변경을 차단해야 할지 판정해 주세요.”
  • “평가 결과에서 불안정한 사례를 찾아 주세요.”
  • “지정한 사례에서 금지된 도구 호출이 있었는지 확인해 주세요.”

주의 사항

각 사례를 세 번 이상 실행하고 기준선과 후보 양쪽의 결과를 준비해야 합니다. 포함된 스크립트는 표준 라이브러리만 사용해 결과를 집계하고 판정하며, API나 대규모 언어 모델을 호출하지 않습니다.

이 소개문은 공개된 SKILL.md를 바탕으로 AI(OpenAI Codex)가 작성했습니다. 정확한 사양은 아래 원문을 확인하세요.

문서 점검

AI가 SKILL.md의 내용에서 주의가 필요한 작업과 도입 전제를 확인했습니다. 점수는 실제로 실행한 결과(실행 검증)만으로 매깁니다.

안전성전송·삭제·명령 실행 등을 명시하고 있는가
A양호금지된 도구 호출과 누락 사례를 차단하며 종료 코드 4를 반환합니다.
도입의 용이성필요한 도구나 API 키가 적고 적혀 있는가
A양호표준 라이브러리 스크립트만 사용하며 API나 대규모 언어 모델 호출은 필요하지 않습니다.

점수에는 넣지 않았습니다. 2026년 11월 15일 기준으로 AI(OpenAI Codex)가 판정했습니다. 참고용이므로 설치 전에 원문도 확인해 주세요.

평가가 다르다고 생각되면 재검토를 요청하기

어느 항목이 왜 다르다고 생각하는지 적어 주세요. 로그인은 필요 없습니다. SKILL.md와 대조해 평가를 다시 만들고 이곳에 반영합니다.

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

포함된 파일(11)

  • SKILL.md5.3 KB
  • assets/ci_eval_gate.example.yml1.7 KB
  • assets/eval_case_spec.example.json669 B
  • assets/sample_baseline.jsonl3.7 KB
  • assets/sample_candidate.jsonl3.7 KB
  • references/eval_statistics.md4.8 KB
  • references/flaky_cases_and_quarantine.md4.8 KB
  • references/trajectory_grading.md4.1 KB
  • scripts/flake_detector.py9.8 KB
  • scripts/regression_gate.py12.2 KB
  • scripts/trajectory_checker.py10.6 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

0codekit

무료요약 있음

Membrane CLI를 통해 0codekit 워크스페이스 데이터에 연결합니다. 표와 데이터베이스, 작업, 일정, 이메일, 채팅 메시지, 문서 등을 다루며, 요청이 모호하면 앱이나 데이터에 관한 추가 정보가 필요합니다.

  • 0codekit 워크스페이스 정보 다루기
  • 표 또는 데이터베이스 확인
  • 작업과 일정 참조
LeoYeAI/agent-master-skills2.2천2026년 11월 1일 업데이트

0xarchive

무료요약 있음

0xArchive API로 Hyperliquid, Lighter.xyz, HIP-3의 과거 및 현재 시장 데이터를 조회합니다. 가격, 캔들, 주문장, 거래, 펀딩 비율, 미결제약정, 청산과 데이터 최신성 및 범위를 확인할 수 있습니다.

  • 지원 거래소의 과거 가격 조회
  • 주문장과 거래 기록 확인
  • 펀딩 비율과 미결제약정 추적
LeoYeAI/agent-master-skills2.2천2026년 11월 1일 업데이트

12-factor-apps

무료요약 있음

코드베이스를 12-Factor App의 12개 원칙에 따라 점검하고 설정, 의존성, 로그 등의 준수 수준과 근거를 정리합니다. 파일과 줄 번호를 제시하고 우선순위별 개선안도 제공합니다.

  • SaaS 애플리케이션 구조 감사
  • 클라우드 이전 전 문제 파악
  • 컨테이너화 전 구성 점검
LeoYeAI/agent-master-skills2.2천2026년 11월 1일 업데이트

13-Day Sprint Method

무료요약 있음

마야력에서 영감을 얻은 13일 주기로 개인 또는 팀 프로젝트의 목표 설정, 실행, 결과 공유와 회고를 진행합니다. 매일의 13가지 ‘톤’이 그날의 초점을 안내합니다.

  • 13일 동안 개인 프로젝트 진행
  • 팀 스프린트의 일일 초점 정하기
  • 오늘의 행동 방향 확인
LeoYeAI/agent-master-skills2.2천2026년 11월 1일 업데이트

13c-metabolic-flux

무료요약 있음

정상 상태의 탄소 13 추적 측정값으로 세포 내 대사 플럭스를 추정합니다. 탄소 원자 매핑과 측정 입력을 점검하고 표지 분포를 모의한 뒤, 데이터가 제약할 수 있는 경로 반응 속도를 평가합니다.

  • 탄소 13 측정값으로 대사 플럭스 추정
  • 원자 매핑과 측정 입력의 일관성 확인
  • 지정한 플럭스로 표지 분포 예측
LeoYeAI/agent-master-skills2.2천2026년 11월 1일 업데이트

1688 Sourcing Agent

무료요약 있음

1688.com을 통한 상품 소싱을 단계별로 안내합니다. 상품 선정, 공급업체 확인, 샘플 요청, 가격 협상, 운송 방식 비교를 돕고, 상품 정보와 결제에 따른 위험 및 소싱 전문가에게 문의할 시점도 정리합니다.

  • 1688.com 공급업체 확인하기
  • 예산에 맞는 상품 후보 좁히기
  • 가격 협상이나 샘플 요청하기
LeoYeAI/agent-master-skills2.2천2026년 11월 1일 업데이트

LeoYeAI의 스킬 모두 보기

이 스킬의 문제 신고