为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4072026年10月1日 更新
無料GitHub で公開
training-system-planning
估算训练或 RL 作业的显存、步时、checkpoint、故障重做和完成期限。用于比较分片、重计算、卸载与集群规模。
含まれるファイル（1）
- SKILL.md1.4 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
训练系统规划
适用：需要证明某训练目标能否在给定设备和期限内完成。依据 manuscripts/10-训练系统.md 第 10.1—10.6 节。
- 明确目标有效样本量、模型与优化器状态格式、序列长度、batch、设备数、故障率和截止时间；区分样本生成吞吐与有效样本吞吐。
- 逐项计算参数、梯度、优化器状态、激活、通信与临时缓冲的峰值显存。ZeRO、重计算和卸载都以额外通信或计算换容量，需同时检查步时。
- 沿一个训练步的依赖图累计前向、反向、归约、更新和未被覆盖的通信；最慢设备决定同步步时。检查 batch 扩大是否改变优化目标或收敛效率。
- 把数据准备、checkpoint 写入、故障概率与预期重做加入长期完成时间。checkpoint 保存参数/优化器状态，也保存数据进度；保存间隔需平衡写入与丢失工作。
- 对 RL 额外跟踪 rollout 样本、策略版本、行为概率、验证结果和训推数值一致性，避免把生成总量当作可训练样本数。
输出显存峰值、步时分解、有效样本吞吐、恢复开销和期限余量。硬件可行与训练质量可达应分别说明。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4072026年10月1日 更新
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4072026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4072026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4072026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,4072026年10月1日 更新