본문으로 건너뛰기
cccskills
무료GitHub에 공개

experiment-engine

Otonom deney dongusu. Kod degisikligi yap, olc, karsilastir, kabul et veya geri al. Metrik bazli karar verme ile performans, boyut veya kalite optimizasyonu. Tek basina veya agent ile kullan.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

연동 도구Redis
설치 방법 보기

포함된 파일(1)

  • SKILL.md6.4 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

Not / Overlap: Bu skill experiment-loop ile ayni otonom deney dongusu kavramini kapsar (bu dosya TR, experiment-loop EN). Yeni isler icin experiment-loop tercih edilir; v4.0 da birlestirilecek.

Experiment Engine

Bir hedef belirle, sistematik olarak deneyler yap, sadece iyilestirenleri tut.

Core Loop

HEDEF BELIRLE
  └─ "API response time'i %20 dusur"
  └─ "Bundle size'i 500KB'nin altina getir"
  └─ "Test coverage'i %90'a cikar"

BASELINE OLC
  └─ Mevcut metrigi kaydet (ornek: 340ms, 720KB, %78)

DENEY DONGUSU (N kez tekrarla):
  ┌─────────────────────────────────────┐
  │ 1. MODIFY  - Tek degisiklik yap    │
  │ 2. VERIFY  - Metrigi olc           │
  │ 3. COMPARE - Baseline ile kiyasla  │
  │ 4. DECIDE  - Kabul / Reddet        │
  │    ├─ Iyilesti → COMMIT + yeni     │
  │    │             baseline           │
  │    └─ Kotulesti → ROLLBACK         │
  └─────────────────────────────────────┘

RAPOR OLUSTUR
  └─ N deney, X kabul, Y red, final metrik

Kullanim Alanlari

Performans Optimizasyonu

# Hedef: API response time < 200ms
# Baseline: 340ms

# Deney 1: Database query'ye index ekle
git stash  # mevcut durumu kaydet
# ... index ekle ...
curl -w "%{time_total}" http://localhost:3000/api/users  # 280ms
# 340ms -> 280ms = IYILESTI → COMMIT

# Deney 2: Response'u cache'le
# ... Redis cache ekle ...
curl -w "%{time_total}" http://localhost:3000/api/users  # 45ms
# 280ms -> 45ms = IYILESTI → COMMIT

# Deney 3: JSON serializer degistir
# ... fast-json-stringify ekle ...
curl -w "%{time_total}" http://localhost:3000/api/users  # 42ms
# 45ms -> 42ms = MINIMAL IYILESME → REDDET (karmasiklik artmaya degmez)

# Sonuc: 340ms -> 45ms (%87 iyilesme), 2/3 deney kabul edildi

Bundle Size Azaltma

# Hedef: < 500KB
# Baseline olc
BASELINE=$(npx next build 2>&1 | grep "First Load JS" | awk '{print $4}')

# Deney dongusu
experiments=(
  "lodash yerine lodash-es"
  "moment yerine dayjs"
  "tree-shaking acik mi kontrol"
  "dynamic import lazy component'ler"
  "image optimize (next/image)"
)

for exp in "${experiments[@]}"; do
  echo "=== Deney: $exp ==="
  # degisiklik yap...
  NEW=$(npx next build 2>&1 | grep "First Load JS" | awk '{print $4}')
  if [ "$NEW" -lt "$BASELINE" ]; then
    echo "KABUL: $BASELINE -> $NEW"
    BASELINE=$NEW
    git add -A && git stash  # kaydet
  else
    echo "RED: $NEW >= $BASELINE"
    git checkout .  # geri al
  fi
done

Test Coverage Artirma

# Hedef: %90 coverage
# Baseline
BASELINE=$(npx jest --coverage --silent 2>&1 | grep "All files" | awk '{print $4}')

# Her dosya icin test yaz, coverage'i olc
for file in $(find src -name "*.ts" -not -name "*.test.*"); do
  echo "=== Test: $file ==="
  # test yaz...
  NEW=$(npx jest --coverage --silent 2>&1 | grep "All files" | awk '{print $4}')
  if (( $(echo "$NEW > $BASELINE" | bc -l) )); then
    echo "KABUL: %$BASELINE -> %$NEW"
    BASELINE=$NEW
  fi
done

Deney Protokolu

Tek Degisiklik Kurali

YANLIS: Ayni anda 3 sey degistirip "daha hizli oldu" demek
  → Hangi degisiklik etkili oldugunu bilemezsin

DOGRU: Her seferinde TEK degisiklik yap
  → Neyin ise yaradigini kesin bilirsin

Rollback Stratejisi

# Yontem 1: git stash (basit)
git stash         # deney oncesi
# ... deney ...
git stash pop     # basarisizsa geri al

# Yontem 2: git worktree (izole)
git worktree add /tmp/experiment-1 -b exp/perf-test
cd /tmp/experiment-1
# ... deney ...
# basarisizsa worktree'yi sil

# Yontem 3: checkpoint (karmasik deneyler)
git add -A && git commit -m "checkpoint: pre-experiment"
# ... deney ...
# basarisizsa: git reset --hard HEAD~1

Metrik Toplama

interface ExperimentResult {
  id: string
  description: string
  baseline: number
  result: number
  improvement: number  // yuzde
  accepted: boolean
  duration: number     // saniye
  timestamp: string
}

// Deney raporu
interface ExperimentReport {
  goal: string
  metric: string
  baselineValue: number
  finalValue: number
  totalExperiments: number
  accepted: number
  rejected: number
  totalImprovement: number  // yuzde
  experiments: ExperimentResult[]
}

Deney Sablonu

# Deney Raporu: [Hedef]

## Ozet
- Hedef: [metrik] < [esik]
- Baseline: [baslangic degeri]
- Final: [son deger]
- Iyilesme: [yuzde]
- Deneyler: [kabul]/[toplam]

## Deneyler

| # | Aciklama | Onceki | Sonraki | Degisim | Karar |
|---|----------|-------:|--------:|--------:|-------|
| 1 | Index ekle | 340ms | 280ms | -18% | KABUL |
| 2 | Redis cache | 280ms | 45ms | -84% | KABUL |
| 3 | JSON serializer | 45ms | 42ms | -7% | RED |

## Ogrenim
- En etkili: Redis cache (-84%)
- Degmez: JSON serializer degisimi (karmasiklik > kazanim)

Otomatik Deney Modu

# experiment-loop.sh
# Kullanim: ./experiment-loop.sh "response_time" "200" "ms" 10

METRIC=$1       # olculecek metrik
TARGET=$2       # hedef deger
UNIT=$3         # birim
MAX_ROUNDS=$4   # max deney sayisi

ROUND=0
BASELINE=$(measure_$METRIC)

while [ $ROUND -lt $MAX_ROUNDS ]; do
  ROUND=$((ROUND + 1))

  # Claude'a optimize ettir
  claude -p "Optimize $METRIC. Current: ${BASELINE}${UNIT}. Target: <${TARGET}${UNIT}. Make ONE small change." --no-input

  # Olc
  NEW=$(measure_$METRIC)

  if [ "$NEW" -lt "$BASELINE" ]; then
    echo "Round $ROUND: KABUL ($BASELINE -> $NEW)"
    BASELINE=$NEW
    git add -A && git commit -m "experiment: $METRIC improved to ${NEW}${UNIT}"
  else
    echo "Round $ROUND: RED ($NEW >= $BASELINE)"
    git checkout .
  fi

  # Hedefe ulastik mi?
  if [ "$BASELINE" -le "$TARGET" ]; then
    echo "HEDEF ULASILDI: ${BASELINE}${UNIT} <= ${TARGET}${UNIT}"
    break
  fi
done

vibecosystem Entegrasyonu

  • profiler agent: Performans deneylerinde metrik toplama
  • nitro agent: Optimization deneylerini yonetme
  • tdd-guide agent: Coverage deneylerinde test yazma
  • verifier agent: Her deney sonrasi build/test dogrulama
  • self-learner agent: Basarili deneyleri pattern olarak kaydet
  • experiment-loop skill: Bu skill'in mevcut complementary'si

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

WCAG 2.2 AA compliance, ARIA patterns, keyboard navigation, screen reader optimization

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

axe-core integration, WCAG 2.2 AA checklist, keyboard navigation testing, screen reader testing, and ARIA pattern validation.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Steam-style achievement system with XP, levels, streaks, and skill trees. Gamifies the development workflow. 25 achievements across 5 categories.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Framework for measuring and tracking agent response quality over time. Detects regressions before they reach production. Use when evaluating agent changes, auditing quality, or establishing performance baselines.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Agent Context Isolation

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Agent ve skill dosyalarinin yapisal dogrulamasi. Frontmatter kontrol, naming convention, zorunlu bolum kontrolu, tutarlilik denetimi. Yeni agent/skill eklendiginde veya mevcut dosyalar duzenlediginde otomatik calistirilir.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

vibeeval의 스킬 모두 보기

이 스킬의 문제 신고