본문으로 건너뛰기
cccskills
무료GitHub에 공개

prompt-optimizer

A/B test CLAUDE.md instruction changes against eval benchmarks. Capture baselines, test variants, compare results.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium
설치 방법 보기

포함된 파일(1)

  • SKILL.md2.1 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

Prompt Optimizer

Systematically improve Mycelium instructions through measurement. Adapted from n-trax.

Commands

baseline -- Capture current performance

  1. Run /mycelium:eval-runner run-split optimization — record as optimization scores
  2. Run /mycelium:eval-runner run-split holdout — record as holdout scores
  3. Record both to .claude/optimization/baseline.json: timestamp, CLAUDE.md hash, optimization metrics, holdout metrics, overall and per-category metrics

test <variant> -- Test a variant

  1. Read variant from .claude/optimization/variants/<variant>.md
  2. Apply the CLAUDE.md changes described
  3. Run /mycelium:eval-runner run-split optimization — this is the hill-climbing signal
  4. Run /mycelium:eval-runner run-split holdout — this validates generalization
  5. Store results in .claude/optimization/results/<variant>.json
  6. Compare against baseline. Flag overfitting if optimization improves but holdout degrades.
  7. Do NOT auto-revert -- let user decide

report -- Compare all variants

Generate comparison table with split-aware columns:

| Variant | Opt Pass Rate | Holdout Pass Rate | Delta Opt | Delta Holdout | Overfit? | Decision |

Flag Overfit? = YES when optimization delta is positive but holdout delta is negative.

exemplar <eval-name> -- Capture winning trajectory

After a clean eval win (1 iteration, fast), save the approach to .claude/optimization/exemplars/.

Workflow

  1. Capture baseline
  2. Hypothesize an instruction improvement
  3. Document in variants/ directory
  4. Test the variant
  5. Compare via report
  6. Keep or revert based on data
  7. Capture exemplars from clean wins

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

a11y-check

무료

Accessibility audit, scoped to the surfaces a product actually has. Detects web / rendered_markdown / terminal / native_app / video_audio / document / headless, then applies only the criteria that bind. WCAG 2.1 AA in full for web; not at all for headless.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium472026년 10월 21일 업데이트

adopt

무료

Bring Mycelium into a project that already has code. Detects that the repo predates the framework, asks before touching anything, then reads the codebase to draft what it CAN establish (delivery, solution shape) and — the actual point — names what it cannot (purpose, strategy, real user evidence). The output is a discovery backlog with a head start, never a filled canvas.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium472026년 10월 21일 업데이트

assumption-test

무료

Design the smallest viable test to validate or invalidate a critical assumption. Based on Torres's assumption testing framework, organized by Gilad's AFTER model (Assessment → Fact-Finding → Tests → Experiments → Release Results).

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium472026년 10월 21일 업데이트

bias-check

무료

Use before any research activity or significant decision. Reviews cognitive biases relevant to the current stage.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium472026년 10월 21일 업데이트

bvssh-check

무료

Use to evaluate whether current work aligns with Better Value Sooner Safer Happier. Run at diamond completion and periodically.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium472026년 10월 21일 업데이트

canvas-health

무료

Lint canvas files for staleness, missing fields, inconsistent evidence types, and orphaned references. Run periodically or before major transitions.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

haabe/mycelium472026년 10월 21일 업데이트

haabe의 스킬 모두 보기

이 스킬의 문제 신고