Build integrated IS/BS/CF financial workbooks in Excel.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
openamer/openamer82026년 10월 21일 업데이트
무료GitHub에 공개
model-benchmarker
Use when: benchmark model latency, throughput, or quality.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
설치 방법 보기포함된 파일(1)
- SKILL.md1.8 KB
SKILL.md(원문)
설치하기 전에 에이전트에게 전달되는 지시 내용을 확인할 수 있습니다.
Model Benchmarker
Tests Model-Performance über mehrere Provider (OpenRouter, lokale Ollama-Instanzen).
Tests
| Test | Beschreibung | Runs | Metrik |
|---|---|---|---|
| Latenz | Zeit bis erster Token (kleiner Prompt) | 10 | Median in Sekunden |
| Durchsatz | Tokens pro Sekunde (4K Prompt) | 5 | Median tok/s |
| Qualität | Antwort auf 4 Testfragen bewertet | 1 | Score 0-100% |
CLI-Verwendung
# Einmaliger Test
python model-benchmarker.py --run openrouter/deepseek-v4-flash
python model-benchmarker.py --run "local/qwen3.5:9b"
# Alle Provider testen (Default-Modell pro Provider)
python model-benchmarker.py --all
# Vergleichstabelle aller getesteten Modelle
python model-benchmarker.py --compare
python model-benchmarker.py --compare --json # JSON-Ausgabe
# Trend-Historie
python model-benchmarker.py --history openrouter
python model-benchmarker.py --history local
Provider-Konfiguration
Liest automatisch aus config.yaml:
model.default→ OpenRouter-Modellcustom_providers→ Lokale Ollama-Instanzen und deren Modelle- API-Keys aus
.env(OPENROUTER_API_KEY)
Ergebnisverzeichnis
Alle Ergebnisse in ~/.model-benchmarks/results/<provider>-<model>.json
mit vollständiger Historie (max 50 Einträge).
Cron-Job
Wöchentlicher --all Run ist als Cron-Job eingerichtet:
- Führt alle Provider-Modelle durch
- Sendet Ergebnisse an Terminal (lokal)
- Kein Agent nötig (
no_agent: true)
Abhängigkeiten
Keine — nur Python-Standardbibliothek (urllib, json, statistics, etc.)
리뷰
아직 리뷰가 없습니다. 사용해 본 소감을 남겨 주세요.
댓글
로그인 없이 쓸 수 있습니다. 사용 후기, 질문, 작동하지 않은 환경 등을 편하게 남겨 주세요.
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.
같은 저장소의 스킬
Run and grow the OpenAmer Agent-to-Agent swarm: identity, trust, node-to-node ask, signed skill/insight sharing, and the autonomous self-learning loop.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
openamer/openamer82026년 10월 21일 업데이트
Use for A/B experiments on OpenAmer configs and skills.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
openamer/openamer82026년 10월 21일 업데이트
Roleplay a hostile user to find and triage UX pain points.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
openamer/openamer82026년 10월 21일 업데이트
Agent mesh: master/worker nodes, HTTP delegation, heartbeat.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
openamer/openamer82026년 10월 21일 업데이트
Use for agentic commerce payments tasks. Candidate synthesized from trend radar; awaiting trial promotion.
한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.
openamer/openamer82026년 10월 21일 업데이트