为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3892026年10月1日 更新
無料GitHub で公開
edge-cloud-placement
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
含まれるファイル（1）
- SKILL.md1.3 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
端边云部署选择
适用：同一交互可在本地、边缘或云端执行，需比较完整体验。依据 manuscripts/12-端边云协同.md 第 12.1—12.5 节。
- 固定质量要求与计时边界，列出采集、编码、上传、排队、推理、下行和展示的字节量与耗时。指出哪些可流式重叠，哪些有前后依赖。
- 端侧先检查模型和上下文能否放下，再按内存带宽、算力、功率与电池估算可持续速度。跨设备切分时计算传输的是原始数据、特征还是中间激活，以及需要同步的次数。
- 用实际 RTT、上/下行带宽、丢包和无线波动估算等待；不要用一次理想测速代替高分位交互延迟。连接预热、状态迁移和缓存复用应按预计调用次数摊销。
- 沿完整关键路径比较方案，同时报告失败后恢复、重做量、按时完成概率和成本。局部模型加速只有落在关键路径上才改善用户体验。
输出端/边/云各方案的质量、容量、延迟分解、能耗/成本与恢复假设。缺少网络或设备实测时给出使选择翻转的阈值，而非断言某一位置始终更好。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3892026年10月1日 更新
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3892026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3892026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3892026年10月1日 更新
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,3892026年10月1日 更新