为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3812026年10月1日 更新
無料GitHub で公開
inference-serving
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
含まれるファイル（1）
- SKILL.md1.3 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
单实例推理配置
适用：模型已选定，需调整一个推理实例内的调度与内存管理。依据 manuscripts/08-推理优化.md 第 8.1—8.6 节。
- 固定模型、精度、输入/输出分布、质量标准与硬件。测量 prefill、单步 decode、排队时间、KV 占用和每请求延迟分位数。
- 先检查权重、最大并发 KV、工作区能否同时放下。批处理摊薄共享权重读取，却不能消除每条请求自己的状态读取；同时检查排队与长 prefill 对短请求的干扰。
- 对分页、前缀共享或缓存，标出实际可共享的 token 范围、失效条件、分配与释放时机。上下文改写可能使后续前缀不能复用。
- 对压缩、卸载和推测解码，计入额外搬移、草稿计算与验证。计算每轮耗时及平均被接受的输出 token 数，而非只比较理论生成倍数。
- 在目标到达率下比较可容纳的并发、期限内完成率与每合格结果的 GPU 时间。
输出可行方案及其容量、TTFT、生成速率、尾延迟和成本。跨副本、prefill/decode 分离与共享状态问题转用 distributed-inference。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3812026年10月1日 更新
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3812026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3812026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3812026年10月1日 更新
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3812026年10月1日 更新