本文へ移動
cccskills
無料GitHub で公開

verl-omni-msprobe-dump

为 verl-omni 接入或修复 MSProbe 训推一致性采集,生成打点代码、样本关联日志和诊断启动脚本。用于 diffusion/omni 的 rollout 与 actor 数据采集、dump 缺失或配对失败;不负责精度根因分析。

インストール方法を見る

含まれるファイル(4)

  • SKILL.md3.8 KB
  • references/diffusion.md5.3 KB
  • references/implementation.md8.1 KB
  • references/omni.md4.1 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

verl-omni 训推一致性采集

交付能追溯到同一样本、同一计算片段的两侧 dump,以及输入和权重的可比依据。

工作流程

1. 定位运行链路

读取用户启动脚本、配置和实际加载的源码,沿入口追到执行模型的 rollout worker 与 actor engine。 涉及继承或外部引擎时继续追踪依赖源码;以下 reference 中的符号仅作搜索起点。

本次采集路径按需读取
diffusion 去噪前向diffusion.md
omni / AR 的指定 stage prefillomni.md

2. 确定配对依据

追踪一条样本:请求 ID → rollout 输出 → 队列 / batch 转换 → actor micro-batch。 确认 ID 映射、输入来源、权重版本及 timestep / token 区间、分支和样本布局。 输入未复用或不等价时,明确可比范围;需要重放的路径见对应 reference。

3. 接入采集

按 公共接入约定 实现依赖导入、单 global step 窗口、debugger 生命周期和关联日志。 按当前代码确认两侧 global step 的来源、含义和实际类型;解包并与环境变量统一为整数后比较,用两侧实际输入验证窗口命中。 在实际模型前向处打点;已有集成优先复用,不能仅包裹请求提交层。

采集关闭时保持原执行路径。开发环境缺少 msprobe 不阻塞接入;实际采集初始化失败或窗口未命中须明确报告。

4. 生成诊断脚本

生成调用用户原脚本的短 wrapper,只追加环境变量和采集参数,不复制原脚本全文。 先检查最终命令的 "$@" 透传,再确认 override 实际生效。 默认限制单个 global step、关闭训练前 validation、每卡 micro-batch=1、引擎请求并发=1。 diffusion 默认必须将两侧 guidance 收敛到同一个 cond 单分支,并验证实际前向布局;具体规则见 分支收敛。 全局 batch 与采样数量取当前 recipe 的最小合法组合,保留模型、数据和并行配置。

参数规则与 wrapper 示例见 共用采集参数 和 诊断启动脚本。

5. 验证采集

执行修改文件的语法检查和 wrapper 的 bash -n;环境允许时运行一次短采集:

  • 最终配置与 worker 收到的参数一致,两侧均实际执行 start / stop 且目标模块 dump 非空;任一侧漏采都须修复并重新采集,不能交付单侧产物作为成功结果。
  • diffusion 展示两侧实际分支名称、调用次数和输入 batch 布局;多分支聚合统计与单分支统计不能作为可比产物交付。
  • 用样本身份、计算片段和权重版本定位一对产物,核对输入及布局;不按目录顺序或本地 step 配对。
  • validation、warmup、dummy 和其他 global step 不混入有效配对;重复调用和多进程产物可区分。
  • 关闭采集后恢复原执行路径。没有运行条件时,明确仅完成静态检查。

statistics 用于统计筛查;逐元素核验需要 tensor。详细验收见 配置与验收。

交付内容

  • 修改文件及打点位置、诊断脚本路径、覆盖参数、开启 / 关闭方式。
  • 已执行的检查、未验证项和运行环境缺失的依赖。
  • 完成采集时提供一对 dump 路径、关联日志与配对依据;注明输入、分片或模块结构造成的可比范围限制。

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

同じリポジトリのスキル

概要と使いどころ

当用户直接要求进行数据集压缩测评,或在量化调优过程中需要使用 AISBench 评测工具输出数据集精度等场景时使用。 本 Skill 负责:使用 AISBench 数据集压缩代码、用 RBF Kernel Herding 算法生成压缩后的数据子集(coreset),并按用户目标交付两种产物之一: ① 接入量化调优主流程:产出独立的 coreset 数据集配置(不覆盖原始数据),回传「全集 config_name + coreset config_name」给编排层,供 evaluation.yaml 切换; ② 仅数据集压缩测评(不做量化调优):基于 example 模板生成「全集测试脚本」和「子集测试脚本」两份 shell 脚本。 暂时支持 AIME 2025 和 GPQA,其他数据集需要再结合 aisbench tools目录下 herding_coreset_selector 源码进行分析。

日本語の概要は準備中です。原文の説明を表示しています。

kali20gakki/msAgent322026年10月12日 更新

Ascend cluster comparison tool. Invoke when user asks to compare two cluster datasets (DB or TEXT), or to generate cluster_analysis_output from raw profiling data via msprof-analyze and then compare.

日本語の概要は準備中です。原文の説明を表示しています。

kali20gakki/msAgent322026年10月12日 更新

专门用于 Ascend 集群 Profiling 性能数据的“快慢卡”诊断专家技能。当用户提供【集群性能数据目录/路径】并要求分析【快慢卡】、【慢节点】、【负载不均衡】或【集群瓶颈】时,必须触发此技能。该技能会自动接收集群路径,调度相关工具输出快慢卡的宏观定性与微观根因(如 Host 下发瓶颈、算子计算劣化)。

日本語の概要は準備中です。原文の説明を表示しています。

kali20gakki/msAgent322026年10月12日 更新

Analyze Ascend NPU collective communication profiling data with a DB-first workflow. Use when the user provides `cluster_analysis_output/cluster_analysis.db`, rank-level `analysis.db`, rank-level `ascend_pytorch_profiler_{rank_id}.db`, together with `profiler_info.json`, and asks about HCCL or hcom communication cost, collective communication TOP ops, wait time, slow rank/straggler, Notify Wait, bandwidth, retry, relay, SDMA/RDMA/HCCS links, communication matrix, or Ascend communication fault patterns.

日本語の概要は準備中です。原文の説明を表示しています。

kali20gakki/msAgent322026年10月12日 更新

Analyze Ascend NPU computation-side profiling data for single-card runs or a selected rank from multi-card runs. Use this skill when the user asks to diagnose computation bottlenecks, AI Core / AI Vector / AICPU hotspots, dynamic shape overhead, block dim issues, redundant TransData/Transpose/Cast, cross-stream waits, frequency/runtime-state issues, or fusion opportunities.

日本語の概要は準備中です。原文の説明を表示しています。

kali20gakki/msAgent322026年10月12日 更新

针对昇腾 NPU 上的 PyTorch 模型,识别可做融合算子替换的代码段、替换为 torch_npu 融合算子并做性能/精度验证。当用户提到融合算子、NPU 算子替换、RMSNorm/SwiGLU/RoPE/Attention 融合、torch_npu 亲和算子等关键词是,使用本 Skill。

日本語の概要は準備中です。原文の説明を表示しています。

kali20gakki/msAgent322026年10月12日 更新

kali20gakki のスキルをすべて見る

このスキルの問題を報告する