Build integrated IS/BS/CF financial workbooks in Excel.
中文简介正在准备中。当前显示原文说明。
openamer/openamer82026年10月20日 更新
免费在 GitHub 公开
model-benchmarker
Use when: benchmark model latency, throughput, or quality.
中文简介正在准备中。当前显示原文说明。
查看安装方法包含的文件（1）
- SKILL.md1.8 KB
SKILL.md（原文）
安装前可以查看交给 AI 代理的指令内容。
Model Benchmarker
Tests Model-Performance über mehrere Provider (OpenRouter, lokale Ollama-Instanzen).
Tests
| Test | Beschreibung | Runs | Metrik |
|---|---|---|---|
| Latenz | Zeit bis erster Token (kleiner Prompt) | 10 | Median in Sekunden |
| Durchsatz | Tokens pro Sekunde (4K Prompt) | 5 | Median tok/s |
| Qualität | Antwort auf 4 Testfragen bewertet | 1 | Score 0-100% |
CLI-Verwendung
# Einmaliger Test
python model-benchmarker.py --run openrouter/deepseek-v4-flash
python model-benchmarker.py --run "local/qwen3.5:9b"
# Alle Provider testen (Default-Modell pro Provider)
python model-benchmarker.py --all
# Vergleichstabelle aller getesteten Modelle
python model-benchmarker.py --compare
python model-benchmarker.py --compare --json # JSON-Ausgabe
# Trend-Historie
python model-benchmarker.py --history openrouter
python model-benchmarker.py --history local
Provider-Konfiguration
Liest automatisch aus config.yaml:
model.default→ OpenRouter-Modellcustom_providers→ Lokale Ollama-Instanzen und deren Modelle- API-Keys aus
.env(OPENROUTER_API_KEY)
Ergebnisverzeichnis
Alle Ergebnisse in ~/.model-benchmarks/results/<provider>-<model>.json
mit vollständiger Historie (max 50 Einträge).
Cron-Job
Wöchentlicher --all Run ist als Cron-Job eingerichtet:
- Führt alle Provider-Modelle durch
- Sendet Ergebnisse an Terminal (lokal)
- Kein Agent nötig (
no_agent: true)
Abhängigkeiten
Keine — nur Python-Standardbibliothek (urllib, json, statistics, etc.)
评价
还没有评价。欢迎分享你的使用感受。
评论
无需登录即可发表。欢迎分享使用感受、提问，或说明在哪些环境下无法运行。
还没有评论。来写第一条吧。
同一仓库的技能
Run and grow the OpenAmer Agent-to-Agent swarm: identity, trust, node-to-node ask, signed skill/insight sharing, and the autonomous self-learning loop.
中文简介正在准备中。当前显示原文说明。
openamer/openamer82026年10月20日 更新
Use for A/B experiments on OpenAmer configs and skills.
中文简介正在准备中。当前显示原文说明。
openamer/openamer82026年10月20日 更新
Roleplay a hostile user to find and triage UX pain points.
中文简介正在准备中。当前显示原文说明。
openamer/openamer82026年10月20日 更新
Agent mesh: master/worker nodes, HTTP delegation, heartbeat.
中文简介正在准备中。当前显示原文说明。
openamer/openamer82026年10月20日 更新
Use for agentic commerce payments tasks. Candidate synthesized from trend radar; awaiting trial promotion.
中文简介正在准备中。当前显示原文说明。
openamer/openamer82026年10月20日 更新