cas-bigdatalab

视频去重工具。使用精确匹配（MD5哈希）在文档级别删除重复视频样本。 当用户提到视频去重、删除重复视频、清理重复视频等需求时使用此skill。 即使用户没有明确说出"视频去重"，只要任务涉及从包含视频的数据中删除重复视频， 就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

将用户输入的整数减去5并返回结果。当用户提到「流水线」关键词时并提供数字时使用，并且此方法是「流水线」系列技能之一，能与其他技能之间传递结果。

中文简介正在准备中。当前显示原文说明。

Ray分布式文档去重工具。使用精确匹配（MD5哈希）在文档级别删除重复的样本，基于Ray分布式框架。 当用户提到文档去重、删除重复文档、样本去重、分布式去重、大规模数据去重等需求时使用此skill。 即使用户没有明确说出"Ray"或"分布式"，只要任务涉及大规模文档去重处理， 就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

JSONL 随机采样工具。读取 JSONL 数据集，按抽样数量或抽样比例无放回抽取样本，输出保留原字段结构的采样结果。 当用户提到随机采样、按数量抽样、按比例抽样、JSONL 抽样筛查等需求时使用此skill。 即使用户没有明确说出"random_sampler"，只要任务涉及对 JSONL 记录做无放回随机抽取，就应该使用此skill。 不负责分层采样、领域均衡采样、表格采样或其他格式转换。

中文简介正在准备中。当前显示原文说明。

数值关联规则校验工具。读取被检验表，根据用户自定义的条件表达式（类似Hive SQL规则）进行数据校验， 具有关联关系的数据项需满足特定约束条件。不满足条件的数据会标记质控标识并输出异常数据。 当用户提到关联规则校验、数据约束校验、自定义规则校验、条件表达式校验等需求时使用此skill。 即使用户没有说出"关联规则"，只要任务涉及根据自定义条件表达式进行数据校验，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

将用户输入的整数加10并返回结果。当用户提到「流水线」关键词时并提供数字时使用，并且此方法是「流水线」系列技能之一，能与其他技能之间传递结果。

中文简介正在准备中。当前显示原文说明。

批量阈值检验工具。读取被检验表和阈值表，将数据列的值与阈值表中定义的上下限进行比对， 识别并标记超出允许范围（包括上限和下限）或为空值的数据点，最后输出为相同格式的文件。 当用户提到批量阈值检验、阈值表校验、多字段阈值检查、范围校验等需求时使用此skill。 即使用户没有明确说出"批量阈值"，只要任务涉及根据阈值表进行多字段范围校验，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

从CSV数据集中随机抽取样本。支持按比例（0-1）或固定数量抽取，当两者同时提供时取较小值。

中文简介正在准备中。当前显示原文说明。

单字段多条件阈值检验工具。读取被检验表和阈值表，将指定字段的属性项值与阈值表中定义的多条件门限进行比对， 检查是否在门限范围内，不允许超出门限值（包括上限和下限）。不满足条件的数据会标记质控标识并输出异常数据。 当用户提到单字段阈值检验、多条件阈值检验、单字段多条件检查等需求时使用此skill。 即使用户没有说出"单字段多条件"，只要任务涉及根据多个条件进行单字段阈值校验，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

批量阈值检验-输入框工具。读取被检验表，将数据列的值与输入阈值条件中定义的上下限进行比对， 识别并标记超出允许范围（包括上限和下限）或为空值的数据点，最后输出为相同格式的文件。 当用户提到批量阈值检验、输入框阈值检验、多字段阈值检查、范围校验等需求时使用此skill。 即使用户没有明确说出"批量阈值输入框"，只要任务涉及根据输入的阈值条件进行批量范围校验，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

最大变化范围检验工具。读取时间序列数据，检查在特定时间窗口内，数据是否出现了异常剧烈波动， 即在任意两个读数之间，其差值（变化量）的绝对值超出了预设的容忍阈值，识别并标记异常数据，最后输出为相同格式的文件。 当用户提到最大变化范围检验、变化范围检验、时间序列波动检验、窗口变化检测等需求时使用此skill。 即使用户没有说出"最大变化范围"，只要任务涉及检查时间序列数据在时间窗口内的变化幅度是否异常，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

尖峰检验（连续剧烈变化检测）工具。读取时间序列数据，识别在连续N次的相邻读数之间的差值（变化量）的绝对值都高于预设阈值的异常数据，最后输出为相同格式的文件。 当用户提到尖峰检验、连续剧烈变化检测、峰值检测、时间序列突变检查等需求时使用此skill。 即使用户没有说出"尖峰检验"，只要任务涉及检查时间序列数据的剧烈变化，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

数据时序完整性检查工具。读取时间序列数据，设定数据记录频率（如每2分钟、30分钟或60分钟）， 以此频率为基准遍历数据的时间范围，检查数据时序是否完整，发现缺失与多余数据点，最后输出为相同格式的文件。 当用户提到时序完整性检查、时间序列缺失检查、时间点完整性、数据遗漏检验等需求时使用此skill。 即使用户没有说出"时序完整性"，只要任务涉及检查时间序列数据是否有遗漏或多余的时间点，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

等值检验（连续数值无变化检查）工具。读取时间序列数据，检查在连续的时间段内， 某个关键指标的数值是否长时间保持不变（久无变化检查），识别并标记异常数据，最后输出为相同格式的文件。 当用户提到等值检验、连续无变化检查、久无变化检查、时间序列恒定值检查等需求时使用此skill。 即使用户没有说出"等值检验"，只要任务涉及检查时间序列数据是否长时间保持不变，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

公共基础项枚举校验工具。读取被检验表和标准词典文件，将被检验表中的属性项值与标准词典进行比对， 检查是否超出词典规定的固有词表枚举值范围，超出范围的记录会标记质控标识并输出异常数据。 当用户提到枚举校验、枚举值检查、属性项校验、词表校验等需求时使用此skill。 即使用户没有明确说出"枚举校验"，只要任务涉及将被检验数据与标准词典进行比对，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

字段空值检查工具。读取被检验表，检查指定字段是否存在空值（NULL/NA）， 识别并标记存在空值的数据点，最后输出为相同格式的文件。 当用户提到空值检查、字段空值校验、缺失值检查、NULL值检查等需求时使用此skill。 即使用户没有说出"空值检查"，只要任务涉及检查数据字段是否为空，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

时间一致性检查工具。读取被检验表，按时间序列检查数据的时间一致性， 判断相邻时间点的数据变化是否在合理范围内，识别并标记异常数据，最后输出为相同格式的文件。 当用户提到时间一致性检查、时间序列校验、数据变化检查、时序一致性等需求时使用此skill。 即使用户没有说出"时间一致性"，只要任务涉及检查数据的时间序列一致性，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

特定字段恒定下的其他字段不一致检查工具。读取被检验表，当某些字段（恒定字段）的值相同时， 检查其他指定字段（差异字段）是否存在多个不同的值，如果存在则标记为异常数据，最后输出为相同格式的文件。 当用户提到恒定字段检查、字段一致性检查、分组内差异检查等需求时使用此skill。 即使用户没有说出"恒定字段"，只要任务涉及检查分组内字段是否存在不一致，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

数值数据阈值检验工具。读取结构化数据文件（CSV、TSV、Excel等），检查数值字段是否在指定的门限范围内，不允许超出门限值之外，最后输出为同格式的文件。当用户需要对数据进行阈值检验、数值范围检查、数据质量控制等操作时使用此skill。

中文简介正在准备中。当前显示原文说明。

PiFlow 技能生成器。当用户完成了一次完整并成功的数据处理任务时调用，根据当前 skills/generated 的本地约定和 references/piflow_skill_template.md 通用模板创建、更新或校验 PiFlow-compatible skill，包括 UTF-8 编码的 SKILL.md、DAG 可读的 input_params/output_params、version/tag 元数据、skill.json、scripts/references/assets 资源目录，以及本地校验脚本。仅在用户明确要求生成或保存 skill，或某次数据处理任务已经完成并需要把已验证成功的操作流程沉淀为 skill 时使用；默认不要因为“可能需要 skill”或“当前能力不足”而优先触发此 skill。

中文简介正在准备中。当前显示原文说明。

数据排序工具。读取结构化数据文件，根据指定字段进行升序或降序排序，最后输出为相同格式的文件。 当用户提到数据排序、升序排列、降序排列、按某字段排序等需求时使用此skill。 即使用户没有明确说出"排序"，只要任务涉及对数据进行排序，就应该使用此skill。

中文简介正在准备中。当前显示原文说明。

将用户输入的数字乘以10并返回结果。当用户提到「流水线」关键词时并提供数字时使用，并且此方法是「流水线」系列技能之一，能与其他技能之间传递结果。

中文简介正在准备中。当前显示原文说明。

困惑度过滤器。过滤以保留困惑度分数小于特定最大值的样本。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到困惑度过滤、文本困惑度检测、语言模型分数过滤、文本质量过滤等需求时使用此skill。

中文简介正在准备中。当前显示原文说明。

质量标识字段检测工具。检查数据表是否配置质量标识字段，验证标识字段的存在性、值规范性 （是否为预定义合法值）、非空完整性，标记不合格数据。 当用户提到质量标识检查、QC字段检测、标识字段合规等需求时使用此skill。

中文简介正在准备中。当前显示原文说明。