Skip to content
cccskills
FreePublished on GitHub

fullwidth_halfwidth_normalizer

全角/半角字符规范化工具。读取结构化数据文件,将文本中的全角ASCII字符(字母、数字、标点)转换为半角形式, 并可按需执行指定 Unicode 正规化。适用于中日韩混排科研文本的统一预处理,不负责空白行删除、拼写纠错或重复标点合并。

当用户提到全角转半角、半角规范化、全半角统一、全角字母数字转换等需求时使用此skill。

The English summary is being prepared. Showing the original description.

Works withExcel
See how to install

Files included (4)

  • SKILL.md3.9 KB
  • scripts/data_io.py3.5 KB
  • scripts/fullwidth_halfwidth_normalizer.py4.2 KB
  • skill.json2.0 KB

SKILL.md (original)

Review the instructions the agent will receive before you install.

fullwidth_halfwidth_normalizer 全角半角规范化Skill

功能概述

将文本中的全角 ASCII 字符(U+FF01-U+FF5E、U+3000)转换为半角形式,并支持可选的 Unicode 正规化处理。覆盖字母、数字、标点符号的全半角统一,中文专属标点(。、【】、《》等)不受影响。

触发条件

  • 全角转半角
  • 半角规范化
  • 全半角统一
  • 全角字母/数字/标点转换
  • Unicode 正规化
  • 中日韩混排文本清洗

输入文件格式

  • CSV (.csv) / TSV (.tsv) / Excel (.xls, .xlsx) / SPSS (.sav)

使用方法

步骤1:获取用户输入输出路径

向用户确认:

  1. 输入文件路径(需要处理的文件)
  2. 输出文件路径(处理后的文件)
  3. 可选:指定处理的文本列
  4. 可选:Unicode正规化形式

步骤2:执行全角半角规范化脚本

在 scripts/ 目录下找到 fullwidth_halfwidth_normalizer.py,使用Python执行:

基本用法:

python scripts/fullwidth_halfwidth_normalizer.py \
    --input_path <输入文件> \
    --output_path <输出文件>

带可选参数:

python scripts/fullwidth_halfwidth_normalizer.py \
    --input_path <输入文件> \
    --output_path <输出文件> \
    --text_columns col1,col2 \
    --norm_form NFKC \
    --keep_newlines

步骤3:返回结果

脚本执行完成后,告知用户全角字符转换数量和输出文件路径。

核心参数说明

必需参数

参数说明
--input_path输入结构化文件路径
--output_path输出规范化后文件路径

可选参数

--text_columns 指定规范化列,其他参数控制转换方向和字符范围。

参数说明

参数必填说明
--input_path是输入文件路径
--output_path是输出文件路径
--text_columns否处理的文本列,逗号分隔
--norm_form否NFC/NFD/NFKC/NFKD
--keep_newlines否保留换行符

输出示例

[OK] 全角/半角规范化完成 -> output.csv
   文本列: ['text']
   norm_form=无, keep_newlines=False

输入 2024年,AI技术 → 输出 2024年,AI技术

环境要求

使用项目 Python 环境运行,依赖 pandas 和共享 data_io 读写工具。

注意事项

  1. 仅转换 U+FF01-U+FF5E 范围内的全角 ASCII 字符和 U+3000 全角空格
  2. 中文专属标点(。、【】、《》、——等)不受影响
  3. NFKC 正规化会一并处理全角字符和其他兼容字符
  4. 默认折叠换行为空格,使用 --keep_newlines 可保留

Reviews

No reviews yet. Tell others what you thought.

Comments

No login needed. Share how it worked for you, ask a question, or note where it did not run.

No comments yet. Be the first to write one.

Comments are published right away. Do not include personal information such as email addresses or phone numbers. Up to 2 URLs.

0 / 1,000 characters

This form is protected by reCAPTCHA, and the Google Privacy Policy and Terms of Service apply.

More skills from this repository

领域缩略语展开 Skill:按内置或外部词典将独立缩略语替换为全称,可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗;不负责模糊缩写消歧或大小写无关替换。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

字母数字比例过滤器。过滤文本中字母/数字比例不在指定范围内的样本。 当用户提到文本过滤、比例筛选、字母比例、数字比例、清理乱码文本等需求时使用此skill。 即使用户没有明确说出"过滤",只要任务涉及根据文本中字母或数字的比例来筛选数据, 就应该使用此skill。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

平均行长度过滤器。过滤文本平均行长度不在指定范围内的样本。 当用户提到行长度过滤、平均行长度、文本行长度筛选、按行筛选等需求时使用此skill。 即使用户没有明确说出"平均行长度",只要任务涉及根据文本中每行的平均长度来筛选数据, 就应该使用此skill。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

批量文件清单采集器。扫描一个或多个本地文件/目录,或从任务列表加载路径, 按支持的扩展名生成文件元信息清单,供后续文本、表格、文档、图像等采集流程继续处理。 当用户需要批量盘点待采集文件、生成本地文件 manifest、统计输入文件类型或为后续采集算子准备文件清单时使用此 skill。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

批量数据均匀分片工具。读取json/jsonl/csv输入,按份数或固定条数切成多个子文件,输出一个清单JSON供下游节点消费。 当用户提到数据分割、批量拆分、数据分片、均匀分块等需求时使用此skill。 即使用户没有明确说出"分片",只要任务是把整份批量数据均匀拆成多个文件,就应该使用此skill。 不负责按字段分组导出或随机采样。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

本skill是用于单细胞测序数据分析的专用技能,首先需要用户上传需要处理的单细胞测序数据,再对经过预处理的单细胞表达数据进行自动化细胞类型注释。它通过基因比对、数据标准化、降维等一系列流程,将细胞聚类结果与已知参考数据库进行匹配,从而为每个细胞分配生物学功能标签。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

See all skills by cas-bigdatalab

Report a problem with this skill