Duplicate Fragment Cleaner 文本内部重复片段模糊清理 Skill

功能概述

本 skill 用于清理单条文本内部的近似重复内容：

• 删除重复段落、重复句子或连续重复片段
• 保留首次出现内容
• 支持按相似度阈值识别轻微改写、标点差异、空白差异造成的重复

触发条件

当用户请求以下任务时，应使用此 skill：

• 清理重复片段
• 删除重复段落
• 去掉近似重复内容
• 文本内部重复清理

核心参数说明

必需参数

• --input：输入 JSONL 文件路径
• --output：输出 JSONL 文件路径

可选参数

• --text_field：文本字段名，默认 text
• --min_fragment_length：候选重复片段最小字符长度，默认 30
• --max_fragment_length：候选重复片段最大字符长度，默认 500
• --similarity_threshold：近似重复判定阈值，默认 0.88
• --keep_first：保留第一次出现的重复片段，默认 true
• --mark_cleaned：是否标记已清洗样本，默认 true
• --log_file：删除片段日志文件路径

输入文件格式

支持以下结构化文件格式：

• JSONL

不支持的文件格式会直接报错拒绝，不会自动猜测格式；如需处理其他格式，请先转换为 JSONL 后再使用本 skill。

使用方法

python scripts/run_duplicate_fragment_cleaner.py \
  --input data.jsonl \
  --output cleaned.jsonl \
  --text_field text \
  --min_fragment_length 30 \
  --max_fragment_length 500 \
  --similarity_threshold 0.88 \
  --keep_first true \
  --mark_cleaned true \
  --log_file removed_fragments.json

输出示例

[OK] Duplicate fragment fuzzy cleaning completed
   Input: data.jsonl
   Output: cleaned.jsonl
   Total samples: 8
   Samples cleaned: 3
   Fragments removed: 4
   Unique fragments: 3

注意事项

1. 仅处理单条文本内部重复片段，不做跨记录去重。
2. 模糊匹配会受阈值影响，建议先用较高阈值验证。
3. 输出会保留原始记录的其他字段。
4. min_fragment_length 用于避免误删过短短语。