本文へ移動
cccskills
無料GitHub で公開

resource-budget

估算一次模型执行能否放入给定硬件,并定位计算、访存和串行等待的下界。用于粗估容量、时延或优化收益;具体模型结构另用 model-footprint。

インストール方法を見る

含まれるファイル(1)

  • SKILL.md1.6 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

模型执行资源初估

适用:尚未确定系统方案,需要判断可行性或找出最值得测量的瓶颈。依据 manuscripts/01-初识 AI Infra.md 第 1.2—1.4 节。

  1. 写清任务目标、输入/输出 token 数、并发、精度、硬件容量与带宽,以及时延或成本上限。区分已测值、规格峰值与假设。
  2. 分别估算驻留容量 $M$、运算量 $F$、每层存储接口读写量 $R$。权重、KV、激活、工作区和缓冲区按生命周期计入;保存一次与读取多次不能混为一项。
  3. 先检验 $M\le M_{cap}$,再计算 $F/\Pi$ 与 $R/\beta$ 的理想时间下界。对于多级存储或网络,沿实际路径分别计算,不把不同接口带宽相加。
  4. 沿依赖关系画关键路径:排队、模型计算、数据搬移、工具等待和输出展示哪些串行、哪些可重叠。用局部耗时占比估算优化的整体收益;不能只用峰值 FLOPS 宣称端到端加速。
  5. 对照实测,解释差距可能来自遗漏的数据量、带宽利用率、启动、同步或排队;列出下一项应采集的指标。

输出一张“输入/假设、容量检查、时间下界、实测或未知、瓶颈判断”的表。所有量标明单位与十进制/二进制容量口径。具体配置和可复算数字见 calculations/README.md;模型架构变化转用 model-footprint。

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

同じリポジトリのスキル

概要と使いどころ

为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。

日本語の概要は準備中です。原文の説明を表示しています。

bojieli/ai-infra-book6,3812026年10月1日 更新

规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。

日本語の概要は準備中です。原文の説明を表示しています。

bojieli/ai-infra-book6,3812026年10月1日 更新

估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。

日本語の概要は準備中です。原文の説明を表示しています。

bojieli/ai-infra-book6,3812026年10月1日 更新

比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。

日本語の概要は準備中です。原文の説明を表示しています。

bojieli/ai-infra-book6,3812026年10月1日 更新

比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。

日本語の概要は準備中です。原文の説明を表示しています。

bojieli/ai-infra-book6,3812026年10月1日 更新

为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。

日本語の概要は準備中です。原文の説明を表示しています。

bojieli/ai-infra-book6,3812026年10月1日 更新

bojieli のスキルをすべて見る

このスキルの問題を報告する