为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4012026年10月1日 更新
無料GitHub で公開
distributed-inference
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
含まれるファイル（1）
- SKILL.md1.3 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
分布式推理部署
适用：单实例配置已知，需把计算和状态分配到多个实例。依据 manuscripts/09-分布式推理.md 第 9.1—9.7 节。
- 用相同任务质量、请求分布与资源总量比较完整副本、PD 分离、异构执行等候选；先列出每阶段的服务率与状态驻留量。
- 对每次切分，计算交接的 KV 或激活字节、链路传输时间、发送端与接收端同时占用的容量，以及可能与计算重叠的部分。状态表示改变后重新计算，不能沿用旧模型的 KV 大小。
- 路由同时考虑空闲算力和缓存亲和性。专家放置要考虑热点 skew、复制容量与最慢专家，不只看平均 token 数。
- 在启动、扩容和故障恢复中列出模型加载、预热、状态迁移、checkpoint 或重算的时间；评估流式输出中断后的用户可见影响。
- 用容量、吞吐、尾延迟和恢复后的按期完成率比较方案，并指出负载发生何种变化时需要重新部署。
报告资源配比、阶段服务率、链路瓶颈及状态交接成本。只有局部 kernel 指标时，先取得完整请求轨迹再做部署结论。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4012026年10月1日 更新
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4012026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4012026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4012026年10月1日 更新
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4012026年10月1日 更新