Privacy Token Remover 隐私标识清理 Skill

功能概述

按用户指定类别移除或替换文本中的隐私标识：

• 邮箱地址
• IPv4 地址
• 电话号码

所有类别默认关闭，需要用户显式用开关开启。

触发条件

• 需要在结构化文本字段中删除邮箱、IP、电话等隐私标识。
• 需要在发布、共享或训练前对文本 token 做轻量清理。

核心参数说明

必需参数

• --input_path：输入文件路径
• --output_path：输出文件路径

可选参数

• --remove_email：开启邮箱移除
• --remove_ip：开启 IPv4 地址移除
• --remove_phone：开启电话号码移除
• --text_columns：处理的文本列，逗号分隔；默认全部字符串列
• --replace_token：替换占位符；默认空字符串表示直接删除

输入文件格式

支持 CSV、TSV、XLS、XLSX、SAV 格式的结构化数据。

不支持的文件格式会直接报错拒绝，不会自动猜测格式；如需处理其他格式，请先转换为以上支持格式后再使用本 skill。

使用方法

# 只移除邮箱
python scripts/run_privacy_token_remover.py \
  --input_path data.csv \
  --remove_email \
  --output_path cleaned.csv \
  --replace_token "[REMOVED]"

# 同时移除邮箱和IP
python scripts/run_privacy_token_remover.py \
  --input_path data.csv \
  --remove_email --remove_ip \
  --output_path cleaned.csv

输出示例

输入 Contact alice@example.com from 192.168.1.10

使用 --remove_email --remove_ip --replace_token "[HIDDEN]" 后输出：

Contact [HIDDEN] from [HIDDEN]

环境要求

使用项目 Python 环境运行，依赖 pandas 和共享 data_io 读写工具。

注意事项

• 所有类别默认关闭，用户必须用 --remove_email/--remove_ip/--remove_phone 显式开启。
• IP 规则只覆盖 IPv4，不覆盖 IPv6。
• 电话规则覆盖常见连续数字和 3-3/4-4 位分段格式。
• 只处理选中的文本列，其他列保持原样。