본문으로 건너뛰기
cccskills

평가 기준 안내

스킬은 실행해 보고 평가합니다

cccskills의 점수는 SKILL.md를 읽고 매긴 것이 아닙니다. 같은 과제를 스킬 없는 Claude Code와 스킬을 넣은 Claude Code에 풀게 하고 결과를 비교합니다.

읽기만 해서는 차이가 나지 않았습니다

예전에는 AI가 SKILL.md 내용만 읽고 4개 항목을 A·B·C로 판정했습니다. 2026년 10월에 집계해 보니 점수에 거의 차이가 없었습니다.

68%

가 90점 이상

평가한 2,839건 중. 100점만 해도 694건이었습니다.

98%

가 '지시의 명확성' A

문서가 잘 정리돼 있어도 실제로 작동하는지는 알 수 없습니다.

84%

가 '절차의 구체성' A

절차가 적혀 있는 것과 결과가 좋아지는 것은 다릅니다.

검증 절차

인기 있는 스킬부터 하루 1건씩 아래 절차로 검증합니다. Claude는 과제 작성·실행·채점에만 쓰고, 집계와 저장은 프로그램이 합니다.

  1. 01

    과제 만들기

    SKILL.md를 바탕으로 스킬이 도움이 될 만한 요청, 검증용 프로젝트의 초기 파일, 채점 기준을 만들고 실행 전에 고정합니다. 요청문에 스킬 이름은 쓰지 않습니다.

  2. 02

    격리해서 실행

    실행할 때마다 일회용 컨테이너를 만듭니다. 외부로는 Anthropic API에만 접속할 수 있어 다른 사이트나 이 사이트의 정보에는 접근할 수 없습니다.

  3. 03

    스킬 없음·있음으로 풀게 하기

    같은 과제를 스킬을 넣지 않은 Claude Code와 넣은 Claude Code에 풀게 합니다. 어느 쪽을 먼저 실행할지는 번갈아 바꿉니다.

  4. 04

    시간과 토큰 측정

    소요 시간, 토큰 수, 비용(API 요금 기준 환산), 턴 수와 스킬을 실제로 불러왔는지를 기록합니다.

  5. 05

    가리고 채점

    어느 쪽이 스킬을 썼는지 알리지 않은 채 다른 AI가 채점 기준 항목마다 1·0.5·0을 매깁니다. 설명이 아니라 만들어진 파일로 확인합니다.

  6. 06

    생성물 공개

    최종 메시지와 만들거나 바꾼 파일을 모두 공개합니다. 누구나 점수의 근거를 직접 확인할 수 있습니다.

실행 점수 구성(100점)

5개 항목의 합계입니다. 엄격하게 매기기 때문에 넣어도 아무것도 바뀌지 않는 스킬은 55점 안팎이 됩니다.

품질45채점 기준 달성률의 차이. 차이 0이면 15점, +50포인트면 만점, −25포인트면 0점.
속도15소요 시간의 증감. 변화 없으면 7.5점, 절반이 되면 만점, 1.5배면 0점.
토큰15토큰 수의 증감. 매기는 방법은 속도와 같습니다.
발동15스킬을 넣은 실행 중 Claude가 실제로 스킬을 불러온 비율.
안정10도중에 멈추지 않고 끝난 비율(5점)과 스킬 있음이 지지 않은 비율(5점).

예: 품질·시간·토큰이 그대로이고, 매번 쓰이며, 멈추지 않는 스킬 = 15 + 7.5 + 7.5 + 15 + 10 = 55점

스킬을 넣어서 무엇이 달라졌나

점수와 별도로 변화의 종류를 라벨로 보여 줍니다. 한 스킬에 여러 개가 붙을 수 있습니다.

좋은 변화

품질 향상
채점 기준 달성률이 15포인트 이상 올랐다
시간 단축
품질을 떨어뜨리지 않고 소요 시간이 20% 이상 줄었다
토큰 절약
품질을 떨어뜨리지 않고 토큰 수가 20% 이상 줄었다

주의할 변화

품질 저하
달성률이 10포인트 이상 내려갔다
시간 증가·토큰 증가
소요 시간이나 토큰 수가 1.5배 이상이 됐다
잘 쓰이지 않음
넣어 두어도 절반 이상의 실행에서 불러오지 않았다
도중에 멈춤
4번에 1번 이상 실행이 끝나지 않았다

공정성을 위해 정해 둔 것

점수가 실제 사용감과 어긋나지 않도록 아래 조건을 맞춥니다. 한계도 함께 적습니다.

채점자에게 가리기

채점하는 AI에게 A·B 중 어느 쪽이 스킬을 썼는지 알리지 않습니다. 순서도 매번 무작위입니다.

조건 맞추기

같은 과제, 같은 초기 파일, 같은 모델(Claude Sonnet)로 실행하고, 차이는 스킬 유무뿐입니다.

스타 수는 보지 않음

인기나 작성자는 점수에 넣지 않습니다. 인기순은 검증 순서를 정하는 데만 씁니다.

과제의 치우침(한계)

과제는 AI가 SKILL.md를 바탕으로 만들기 때문에 스킬이 도움이 되는 상황으로 치우칠 수 있습니다. 채점 기준에는 그 SKILL.md만의 규칙을 넣지 않습니다.

적은 횟수(한계)

스킬 1건당 과제 2개, 각각 최대 3번이며, 두 번 연속 같은 결과면 중단합니다. 점수는 참고로 봐 주세요.

시험할 수 없는 스킬

외부 서비스 계정이나 API 키가 필요한 스킬은 격리된 환경에서 실행할 수 없어 보류합니다.

자주 묻는 질문

점수가 없는 스킬이 있는 이유는?

아직 실행 검증을 하지 않은 스킬입니다. 인기순으로 하루 1건씩 검증합니다. SKILL.md에서 확인한 주의점(문서 점검)은 모든 스킬에 표시합니다.

유명한 스킬인데 점수가 낮은 이유는?

스킬 없는 Claude Code도 충분히 해내는 과제라면 차이가 나지 않습니다. 점수는 '넣어서 무엇이 달라졌는지'를 재기 때문에 Claude가 원래 잘하는 작업에서는 낮아집니다.

점수가 이상하다고 생각되면?

스킬 페이지의 문서 점검란에서 재검토를 요청할 수 있습니다. 생성물 페이지에서 각 실행의 최종 메시지와 만들어진 파일을 확인할 수 있습니다.

검증에 쓴 모델과 날짜는?

스킬 페이지의 실행 검증란 아래에 실행 모델, 채점 모델, 날짜를 적어 두었습니다.

최근 평가

최근에 실행 검증한 스킬입니다.

anthropics/skills

채점 기준 달성률 95.9% → 91.7%

  • 뚜렷한 효과 없음

평가한 스킬 모두 보기

실행해 본 결과로 스킬을 고르세요

실행 점수 높은 순으로 정렬하면 효과가 확인된 스킬부터 볼 수 있습니다.