본문으로 건너뛰기
cccskills
무료GitHub에 공개

reputation-patterns

Agent reputation scoring, performance tier system, trust calibration, and task affinity matching

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

설치 방법 보기

포함된 파일(1)

  • SKILL.md3.3 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

Reputation Patterns

Agent Reputation Score (ARS)

interface AgentReputation {
  agentId: string
  score: number           // 0-100
  tier: 'S' | 'A' | 'B' | 'C' | 'D'
  totalTasks: number
  successRate: number     // 0-1
  firstPassRate: number   // QA'den ilk seferde geçme oranı
  avgRetries: number
  specialties: string[]   // Başarılı olduğu task tipleri
  weaknesses: string[]    // Başarısız olduğu task tipleri
}

// Score hesaplama
function calculateARS(agent: AgentReputation): number {
  const weights = {
    successRate: 0.35,
    firstPassRate: 0.25,
    consistency: 0.20,    // son 10 task varyansı
    efficiency: 0.20      // ortalama retry sayısı
  }

  return (
    agent.successRate * weights.successRate * 100 +
    agent.firstPassRate * weights.firstPassRate * 100 +
    (1 - agent.avgRetries / 3) * weights.consistency * 100 +
    (agent.totalTasks > 5 ? 1 : 0.5) * weights.efficiency * 100
  )
}

Tier System

TierARS RangeYetkiAçıklama
S90-100OtonomHer task'ı alabilir, QA skip
A75-89GüvenilirÇoğu task, standart QA
B60-74NormalStandart task, tam QA
C40-59İzlemedeBasit task, sıkı QA
D0-39KısıtlıCross-training gerekli

Decay & Recovery

Decay:
- 7 gün inaktif → -2 puan
- 14 gün inaktif → -5 puan
- QA FAIL → -5 puan (severity'ye göre)
- Escalation → -10 puan

Recovery:
- QA PASS (first try) → +3 puan
- QA PASS (retry) → +1 puan
- Complex task başarı → +5 puan
- Cross-training başarı → +2 puan

Task-Type Affinity

## Agent Affinity Matrix

| Agent | Frontend | Backend | DB | Security | Score |
|-------|----------|---------|----|---------|----|
| spark | 85 | 70 | 50 | 40 | B |
| kraken | 60 | 90 | 80 | 65 | A |
| frontend-dev | 95 | 30 | 20 | 30 | S(FE) |
| backend-dev | 20 | 92 | 75 | 60 | S(BE) |

Task assignment: Highest affinity agent with available capacity

Reliability Prediction

def predict_success(agent_id: str, task_type: str) -> float:
    """Agent'ın belirli task tipinde başarı olasılığı"""
    agent = get_agent(agent_id)
    base_rate = agent.success_rate
    type_affinity = agent.affinity.get(task_type, 0.5)
    recent_trend = agent.last_5_tasks_success_rate

    return (base_rate * 0.4 + type_affinity * 0.35 + recent_trend * 0.25)

Canavar Integration

# Skill matrix'ten data çek
cat ~/.claude/canavar/skill-matrix.json | jq '.agents[] | {name, score, tier}'

# Error ledger'dan failure pattern
cat ~/.claude/canavar/error-ledger.jsonl | jq 'select(.agent == "spark")'

# Leaderboard
node ~/.claude/hooks/dist/canavar-cli.mjs leaderboard

Checklist

  • Her agent'ın ARS score'u tracked
  • Tier assignment otomatik
  • Decay/recovery mekanizması aktif
  • Task-type affinity matrisi var
  • Reliability prediction kullanılıyor
  • Cross-training plan (D-tier agent'lar için)
  • Canavar error-ledger entegre

Anti-Patterns

  • Tüm agent'lara eşit güvenme (reputation'a bak)
  • Low-tier agent'a kritik task verme
  • Score'u sadece success/fail'e dayandırma (context önemli)
  • Recovery yolu olmayan punishment

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

WCAG 2.2 AA compliance, ARIA patterns, keyboard navigation, screen reader optimization

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

axe-core integration, WCAG 2.2 AA checklist, keyboard navigation testing, screen reader testing, and ARIA pattern validation.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Steam-style achievement system with XP, levels, streaks, and skill trees. Gamifies the development workflow. 25 achievements across 5 categories.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Framework for measuring and tracking agent response quality over time. Detects regressions before they reach production. Use when evaluating agent changes, auditing quality, or establishing performance baselines.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Agent Context Isolation

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

Agent ve skill dosyalarinin yapisal dogrulamasi. Frontmatter kontrol, naming convention, zorunlu bolum kontrolu, tutarlilik denetimi. Yeni agent/skill eklendiginde veya mevcut dosyalar duzenlediginde otomatik calistirilir.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

vibeeval/vibecosystem5382026년 8월 9일 업데이트

vibeeval의 스킬 모두 보기

이 스킬의 문제 신고