Build integrated IS/BS/CF financial workbooks in Excel.
中文简介正在准备中。当前显示原文说明。
openamer/openamer72026年10月19日 更新
免费在 GitHub 公开
ab-test-engine
Use for A/B experiments on OpenAmer configs and skills.
中文简介正在准备中。当前显示原文说明。
查看安装方法包含的文件（1）
- SKILL.md2.2 KB
SKILL.md（原文）
安装前可以查看交给 AI 代理的指令内容。
A/B Test Engine
CLI-Tool für automatische Experimente mit Skills + Configs in OpenAmer.
Verzeichnisse
| Pfad | Zweck |
|---|---|
~/.ab-tests/experiments/ | JSON-Experimentdefinitionen |
~/.ab-tests/results/ | Ergebnisdaten pro Experiment |
~/.ab-tests/metrics/ | Raw-Metrik-Snapshots |
CLI-Befehle
python scripts/ab-test-engine.py --create <name> '<beschreibung>' --variant 'key=value[,key=value]'
python scripts/ab-test-engine.py --list
python scripts/ab-test-engine.py --status <name>
python scripts/ab-test-engine.py --conclude <name>
python scripts/ab-test-engine.py --collect
python scripts/ab-test-engine.py --analyze
python scripts/ab-test-engine.py --switch <name> --to variant|control
python scripts/ab-test-engine.py --restore <name>
Workflow
1. Experiment anlegen
python scripts/ab-test-engine.py --create skill-loader-test "Vergleicht lazy vs eager Skill-Loader" --variant 'skill_loader=lazy,skill_cache_size=512'
2. Automatische Metrikerfassung
--collect→ alle 30 min (Cron-Job)- Liest Cron-Exit-Codes, Dauer, RAM-Nutzung
- Bildet Composite Score aus Exit-Codes (60%), Dauer (30%), RAM (10%)
3. Statistische Analyse
python scripts/ab-test-engine.py --conclude skill-loader-test
- Welch's t-Test (ungleiche Varianzen)
- p-Wert + Cohen's d
- Winner-Empfehlung
4. Automation (Cron)
Im OpenAmer-Cron einrichten:
- name: ab-test-collect
schedule: "*/30 * * * *"
command: python scripts/ab-test-engine.py --collect
description: Sammelt A/B-Test-Metriken alle 30min
- name: ab-test-analyze
schedule: "0 6 * * *"
command: python scripts/ab-test-engine.py --analyze
description: Analysiert abgelaufene A/B-Tests täglich 6 Uhr
Fallstricke
- Mindestens 3 Samples pro Gruppe nötig für t-Test
- Bei < 2 Samples wird σ=0 gesetzt
- RAM-Messung ohne
psutilist ungenau (Fallback WMIC / fixed total) --switchverändert die aktiveconfig.yamldirekt- Cron-Log-Pfad:
$OPENAMER_HOME/cron/cron.log - Normalapproximation bei df > 100 für p-Wert
- Nutze
--restoreum Config auf Control-Zustand zurückzusetzen
评价
还没有评价。欢迎分享你的使用感受。
评论
无需登录即可发表。欢迎分享使用感受、提问，或说明在哪些环境下无法运行。
还没有评论。来写第一条吧。
同一仓库的技能
Run and grow the OpenAmer Agent-to-Agent swarm: identity, trust, node-to-node ask, signed skill/insight sharing, and the autonomous self-learning loop.
中文简介正在准备中。当前显示原文说明。
openamer/openamer72026年10月19日 更新
Roleplay a hostile user to find and triage UX pain points.
中文简介正在准备中。当前显示原文说明。
openamer/openamer72026年10月19日 更新
Agent mesh: master/worker nodes, HTTP delegation, heartbeat.
中文简介正在准备中。当前显示原文说明。
openamer/openamer72026年10月19日 更新
Use for agentic commerce payments tasks. Candidate synthesized from trend radar; awaiting trial promotion.
中文简介正在准备中。当前显示原文说明。
openamer/openamer72026年10月19日 更新
Give the agent its own inbox: send and receive email.
中文简介正在准备中。当前显示原文说明。
openamer/openamer72026年10月19日 更新