Skip to content
cccskills
FreePublished on GitHub

numeric_format_cleaner

数值格式清洗工具。读取 JSONL 结构化数据,按字段规则统一单位、数值格式、范围和空值表达,输出规整后的 JSONL 和统计文件。当用户提到数值格式化、单位统一、千分位、科学计数法、空值填充、数值规整等需求时使用此skill。

即使用户没有明确说出"数值格式清洗",只要任务涉及按字段规则整理数值表达,就应该使用此skill。不负责文本去重、标点清洗、字段校验或非数值内容整理。

The English summary is being prepared. Showing the original description.

See how to install

Files included (4)

  • SKILL.md4.2 KB
  • scripts/example_input.json476 B
  • scripts/run_numeric_format_cleaner.py10.5 KB
  • skill.json3.0 KB

SKILL.md (original)

Review the instructions the agent will receive before you install.

Numeric Format Cleaner 数值格式清洗 Skill

功能概述

本 skill 读取 JSONL 结构化数据,按字段规则统一数值表达:单位转换、千分位格式、科学计数法、范围限制和空值填充。 适用于实验记录、环境观测、统计表等需要统一数值格式的科研数据处理场景。

触发条件

当用户请求以下任务时,应使用此skill:

  • 数值格式清洗
  • 单位统一
  • 千分位规整
  • 科学计数法输出
  • 空值填充
  • 按字段规则整理数值

核心参数说明

必需参数

参数说明
--input输入 JSONL 文件路径
--output输出 JSONL 文件路径
--field_rules字段清洗规则 JSON

可选参数

参数说明默认值
--conversion_rules单位转换规则 JSON空字符串
--decimal_places默认小数位数2
--fill_null空值填充值空字符串
--mark_cleaned是否标记已清洗样本True
--stats_output统计输出文件路径numeric_format_cleaner_stats.json

输入文件格式

输入必须为 JSONL,每行一个对象,字段值可以是数值、带单位字符串或空值。

{"distance": "12.3km", "weight": "1500g"}
{"distance": "N/A", "weight": null}

使用方法

python scripts/run_numeric_format_cleaner.py \
  --input data.jsonl \
  --output cleaned.jsonl \
  --field_rules '{"distance":{"target_unit":"m","decimal_places":2}}'
python scripts/run_numeric_format_cleaner.py \
  --input data.jsonl \
  --output cleaned.jsonl \
  --field_rules '{"distance":{"target_unit":"m","decimal_places":2},"weight":{"target_unit":"kg","decimal_places":3}}' \
  --conversion_rules '{"km::m":1000,"g::kg":0.001}' \
  --stats_output stats.json

处理示例

  • 12.345km → 10000.00m
  • 1500g → 1.500kg
  • 1234567.89 → 1,234,568
  • 0.0004567 → 4.57e-04
  • N/A → 按 fill_null 填充

输出示例

[OK] Numeric format cleaning completed
   Total samples: 10
   Samples with changes: 10
   Total field changes: 64
   Errors: 1

环境要求

  • Python 3.10+
  • 仅依赖标准库

注意事项

  1. 输入必须是 JSONL,且字段规则用 JSON 字符串传入。
  2. fill_null 只影响空值或 null-like 值,不会改动正常数值。
  3. 只有字段规则命中的字段才会被处理。
  4. mark_cleaned=True 时,会在输出中追加清洗标记字段。

Reviews

No reviews yet. Tell others what you thought.

Comments

No login needed. Share how it worked for you, ask a question, or note where it did not run.

No comments yet. Be the first to write one.

Comments are published right away. Do not include personal information such as email addresses or phone numbers. Up to 2 URLs.

0 / 1,000 characters

This form is protected by reCAPTCHA, and the Google Privacy Policy and Terms of Service apply.

More skills from this repository

领域缩略语展开 Skill:按内置或外部词典将独立缩略语替换为全称,可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗;不负责模糊缩写消歧或大小写无关替换。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

字母数字比例过滤器。过滤文本中字母/数字比例不在指定范围内的样本。 当用户提到文本过滤、比例筛选、字母比例、数字比例、清理乱码文本等需求时使用此skill。 即使用户没有明确说出"过滤",只要任务涉及根据文本中字母或数字的比例来筛选数据, 就应该使用此skill。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

平均行长度过滤器。过滤文本平均行长度不在指定范围内的样本。 当用户提到行长度过滤、平均行长度、文本行长度筛选、按行筛选等需求时使用此skill。 即使用户没有明确说出"平均行长度",只要任务涉及根据文本中每行的平均长度来筛选数据, 就应该使用此skill。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

批量文件清单采集器。扫描一个或多个本地文件/目录,或从任务列表加载路径, 按支持的扩展名生成文件元信息清单,供后续文本、表格、文档、图像等采集流程继续处理。 当用户需要批量盘点待采集文件、生成本地文件 manifest、统计输入文件类型或为后续采集算子准备文件清单时使用此 skill。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

批量数据均匀分片工具。读取json/jsonl/csv输入,按份数或固定条数切成多个子文件,输出一个清单JSON供下游节点消费。 当用户提到数据分割、批量拆分、数据分片、均匀分块等需求时使用此skill。 即使用户没有明确说出"分片",只要任务是把整份批量数据均匀拆成多个文件,就应该使用此skill。 不负责按字段分组导出或随机采样。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

本skill是用于单细胞测序数据分析的专用技能,首先需要用户上传需要处理的单细胞测序数据,再对经过预处理的单细胞表达数据进行自动化细胞类型注释。它通过基因比对、数据标准化、降维等一系列流程,将细胞聚类结果与已知参考数据库进行匹配,从而为每个细胞分配生物学功能标签。

The English summary is being prepared. Showing the original description.

cas-bigdatalab/piflow541Updated Oct 17, 2026

See all skills by cas-bigdatalab

Report a problem with this skill