为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
The English summary is being prepared. Showing the original description.
bojieli/ai-infra-book6.7KUpdated Oct 1, 2026
FreePublished on GitHub
agent-runtime-capacity
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
The English summary is being prepared. Showing the original description.
See how to installFiles included (1)
- SKILL.md1.4 KB
SKILL.md (original)
Review the instructions the agent will receive before you install.
Agent 运行环境容量
适用：Agent 多轮调用模型和工具，工具环境的等待与驻留影响成本或期限。依据 manuscripts/11-资源调度与运行环境.md 第 11.1—11.5 节。
- 把一项任务展开为模型调用、环境准备、工具执行、验证和重试的依赖图。为每段记录 CPU、内存、GPU、存储占用及持续时间；区分实际工作与等待。
- 用到达率和持续时间估算同时驻留的模型会话与环境数，检查峰值内存而不只看平均 CPU 使用率。环境长时间等待模型时，计算提前准备或按轮重建能节省的资源时间。
- 明确跨轮必须保留的状态。文件、快照或外部持久化可以承载状态时，再比较释放环境的收益与重建、恢复和验证开销。
- 对共享池检查冷启动、镜像/环境多样性、抢占、成组分配和背压；对 RL rollout 将模型生成、工具执行与验证能否重叠写清楚。
- 调整模型服务并发或环境生命周期后，重新估算完整任务的关键路径、按期完成率和每合格任务成本。
输出各阶段资源时间、峰值并发、关键路径及故障重试预算。工具环境闲置时的内存仍算驻留，不可从 CPU 利用率推断容量足够。
Reviews
No reviews yet. Tell others what you thought.
Comments
No login needed. Share how it worked for you, ask a question, or note where it did not run.
No comments yet. Be the first to write one.
More skills from this repository
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
The English summary is being prepared. Showing the original description.
bojieli/ai-infra-book6.7KUpdated Oct 1, 2026
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
The English summary is being prepared. Showing the original description.
bojieli/ai-infra-book6.7KUpdated Oct 1, 2026
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
The English summary is being prepared. Showing the original description.
bojieli/ai-infra-book6.7KUpdated Oct 1, 2026
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
The English summary is being prepared. Showing the original description.
bojieli/ai-infra-book6.7KUpdated Oct 1, 2026
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
The English summary is being prepared. Showing the original description.
bojieli/ai-infra-book6.7KUpdated Oct 1, 2026