为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3962026年10月1日 更新
無料GitHub で公開
parallelism-planning
比较数据、张量、序列、上下文、流水和专家并行的容量与通信代价。用于决定多卡切分和超节点规模。
含まれるファイル（1）
- SKILL.md1.1 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
多卡并行方案
适用：单卡容量或吞吐不足，需要决定如何切分模型、状态与工作。依据 manuscripts/06-超节点.md 第 6.1—6.7 节。
- 明确任务是最小化单会话延迟、完成一批请求的时间，还是每请求成本；写出设备数、每卡容量和实际拓扑。
- 对每种候选切分，标出权重、激活、KV 的持有者与生命周期。先检验单卡容量、合法张量形状和流水所需的批量。
- 列出每层或每步的 collectives、字节量、轮次与经过的链路；区分超节点内互联和跨服务器路径。计算不能无限平分，串行阶段、同步与最慢卡仍在关键路径上。
- 比较端到端延迟、吞吐和故障域。较大实例可能缩短单请求，却减少可同时服务的独立请求数。
输出每种方案的容量、计算、通信、空泡和完成时间估算。对于跨超节点的网络路径继续使用 cluster-network-analysis。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3962026年10月1日 更新
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3962026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3962026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3962026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3962026年10月1日 更新