본문으로 건너뛰기
cccskills
무료GitHub에 공개

ab-test-engine

Use for A/B experiments on OpenAmer configs and skills.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer
설치 방법 보기

포함된 파일(1)

  • SKILL.md2.2 KB

SKILL.md(원문)

설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.

A/B Test Engine

CLI-Tool für automatische Experimente mit Skills + Configs in OpenAmer.

Verzeichnisse

PfadZweck
~/.ab-tests/experiments/JSON-Experimentdefinitionen
~/.ab-tests/results/Ergebnisdaten pro Experiment
~/.ab-tests/metrics/Raw-Metrik-Snapshots

CLI-Befehle

python scripts/ab-test-engine.py --create <name> '<beschreibung>' --variant 'key=value[,key=value]'
python scripts/ab-test-engine.py --list
python scripts/ab-test-engine.py --status <name>
python scripts/ab-test-engine.py --conclude <name>
python scripts/ab-test-engine.py --collect
python scripts/ab-test-engine.py --analyze
python scripts/ab-test-engine.py --switch <name> --to variant|control
python scripts/ab-test-engine.py --restore <name>

Workflow

1. Experiment anlegen

python scripts/ab-test-engine.py --create skill-loader-test "Vergleicht lazy vs eager Skill-Loader" --variant 'skill_loader=lazy,skill_cache_size=512'

2. Automatische Metrikerfassung

  • --collect → alle 30 min (Cron-Job)
  • Liest Cron-Exit-Codes, Dauer, RAM-Nutzung
  • Bildet Composite Score aus Exit-Codes (60%), Dauer (30%), RAM (10%)

3. Statistische Analyse

python scripts/ab-test-engine.py --conclude skill-loader-test
  • Welch's t-Test (ungleiche Varianzen)
  • p-Wert + Cohen's d
  • Winner-Empfehlung

4. Automation (Cron)

Im OpenAmer-Cron einrichten:

- name: ab-test-collect
  schedule: "*/30 * * * *"
  command: python scripts/ab-test-engine.py --collect
  description: Sammelt A/B-Test-Metriken alle 30min

- name: ab-test-analyze
  schedule: "0 6 * * *"
  command: python scripts/ab-test-engine.py --analyze
  description: Analysiert abgelaufene A/B-Tests täglich 6 Uhr

Fallstricke

  • Mindestens 3 Samples pro Gruppe nötig für t-Test
  • Bei < 2 Samples wird σ=0 gesetzt
  • RAM-Messung ohne psutil ist ungenau (Fallback WMIC / fixed total)
  • --switch verändert die aktive config.yaml direkt
  • Cron-Log-Pfad: $OPENAMER_HOME/cron/cron.log
  • Normalapproximation bei df > 100 für p-Wert
  • Nutze --restore um Config auf Control-Zustand zurückzusetzen

리뷰

아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.

댓글

로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

보내면 바로 공개됩니다. 이메일 주소나 전화번호 같은 개인 정보는 쓰지 마세요. URL은 2개까지입니다.

0 / 1,000자

이 양식은 reCAPTCHA로 보호되며 Google 개인정보처리방침 및 서비스 약관이 적용됩니다.

같은 저장소의 스킬

3-statement-model

무료

Build integrated IS/BS/CF financial workbooks in Excel.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer72026년 10월 19일 업데이트

a2a-swarm

무료

Run and grow the OpenAmer Agent-to-Agent swarm: identity, trust, node-to-node ask, signed skill/insight sharing, and the autonomous self-learning loop.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer72026년 10월 19일 업데이트

adversarial-ux-test

무료

Roleplay a hostile user to find and triage UX pain points.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer72026년 10월 19일 업데이트

agent-mesh

무료

Agent mesh: master/worker nodes, HTTP delegation, heartbeat.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer72026년 10월 19일 업데이트

agentic-commerce-payments

무료

Use for agentic commerce payments tasks. Candidate synthesized from trend radar; awaiting trial promotion.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer72026년 10월 19일 업데이트

agentmail

무료

Give the agent its own inbox: send and receive email.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

openamer/openamer72026년 10월 19일 업데이트

openamer의 스킬 모두 보기

이 스킬의 문제 신고