免费在 GitHub 公开

ai-cli-benchmark

Design, run, and review fair performance, token, and cost comparisons across GitHub Copilot CLI, Codex CLI, and direct model APIs. Use for AI CLI benchmark, Copilot vs Codex, prompt-cache diagnosis, cache read/write analysis, fresh-process latency measurement, token-cost comparison, or when a benchmark must separate provider caching from local CLI caches.

中文简介正在准备中。当前显示原文说明。

aktsmm/Agent-Skills

集成工具GitHub OpenAI

查看安装方法

包含的文件（6）

SKILL.md4.7 KB
LICENSE.txt264 B
scripts/helper.py3.6 KB
scripts/requirements.txt25 B
scripts/test_helper.py2.4 KB
skill-license.json712 B

SKILL.md（原文）

安装前可以查看交给 AI 代理的指令内容。

AI CLI Benchmark

When to Use

Copilot CLI、Codex CLI、直接 API の速度・token・費用を比較する。
prompt cache の read / write を区別し、cache-offを主張できるか確認する。
fresh process、temporary home、instruction/tool isolationを揃えた再現可能なbenchmarkを作る。

過去sessionの事後分析だけなら対象外。このskillは比較条件の設計、実行、証拠化を担当する。

Cache Boundaries

Copilot CLI / Codex CLIには、provider側model prompt cacheを無効化する公開optionがない。fresh process、一時home、ephemeral、nonceでもcache offと呼ばない。
COPILOT_CACHE_HOMEはMarketplace、自動更新packageなどのローカル一時データ用。COPILOT_MCP_TOOL_CACHEはローカルMCP serverのtool-list snapshot用。model prompt cacheではない。
OpenAI prompt cacheは手動消去できない。GPT-5.6以降をResponses APIから直接呼ぶ場合だけ、explicit-only modeでbreakpointを置かず、そのrequestのcache writeを避けられる。CLIへ推測適用しない。
nonceはuser prompt全体の一致を避ける補助であり、その前のhidden system / agent prefixのcache readを防がない。

Workflow

Freeze the task
- dataset、expected labels、prompt、schema、input order、model、reasoningを固定し、hashを取る。
- accuracyと性能を同時に比較する場合、同じ合格条件を全providerへ適用する。
Define measurement boundaries
- one request、serial total、fresh-process end to endを区別する。
- API直呼びとCLI起動込み時間をmodel speedとして並べない。
Isolate each CLI
- repo外のowned temp directory、fresh process、一時COPILOT_HOME / auth-only CODEX_HOMEを使う。
- custom instructions、tools、MCP、session reuseを無効にし、secretを子processとlogへ渡さない。
Observe cache; do not assume control
- 必要ならprompt先頭へ一意nonceを入れ、nonce本体ではなくhashだけ保存する。
- zero-cache-read gateは診断用。失敗はprovider cacheの観測であり、benchmark失敗として隠さない。
Record raw categories
- normal input、cache read、cache write、output、reasoningを別fieldで保存する。
- provider schemaで包含・排他関係を確認するまでtoken区分を足さない。
Repeat before claiming performance
- 単発差をcacheの因果効果にしない。median / p95 / rangeとaccuracyを報告する。
Validate the artifact
```
python scripts/helper.py result.json `
  --require-cache-metadata `
  --report validation.json
```
- Required shape: test_design.prompt_sha256, optional test_design.cache_observation (nonce_added_at_prompt_start, nonce_sha256), and providers[] with provider, elapsed_ms, passed, cases, usage (input_tokens, cached_input_tokens, cache_write_tokens, output_tokens, optional reasoning_tokens).
- Add --require-zero-cache-read only for the diagnostic gate in step 4.

Reporting Rules

cache writeはcache hitではない。readと分け、該当modelの料金区分で費用を計算する。
uncached runではなく、観測どおりcache read 0 runまたはcache-observed runと書く。
CLI version、model、reasoning、prompt hash、nonce hash、fresh-process条件、測定境界、usage schemaを記載する。
cache read 0でも将来のwriteやhidden prefixの制御を保証しない。

Done Criteria

dataset/prompt/schema/model/reasoningが固定され、hashがある。
全providerでfresh processと一時homeを使う。
cache read/writeを別fieldで保存する。
測定境界とaccuracyを一緒に報告する。
複数runなしの速度差へ因果を割り当てない。
benchmark JSON validatorがPASSする。

References

OpenAI Prompt caching: https://developers.openai.com/api/docs/guides/prompt-caching
GitHub Copilot CLI command reference: https://docs.github.com/en/copilot/reference/copilot-cli-reference/cli-command-reference

评价

还没有评价。欢迎分享你的使用感受。

无需登录即可发表。欢迎分享使用感受、提问，或说明在哪些环境下无法运行。

还没有评论。来写第一条吧。

同一仓库的技能

agentic-workflow-guide

免费

Design, review, and debug agent workflows, and decide when a request should use a prompt, instruction, skill, agent, or hook before escalating to multi-agent design. Use for .agent.md / .instructions.md / .prompt.md / AGENTS.md work, workflow architecture, orchestration planning, scheduled automation model allocation, or when agent workflows may be overkill. Triggers on 'agent workflow', 'create agent', 'automation models', 'ワークフロー設計', 'orchestrator'.

中文简介正在准备中。当前显示原文说明。