领域缩略语展开 Skill:按内置或外部词典将独立缩略语替换为全称,可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗;不负责模糊缩写消歧或大小写无关替换。
日本語の概要は準備中です。原文の説明を表示しています。
图像美学过滤器。过滤美学评分不在指定范围内的图像样本。当用户提到图像美学、图像质量过滤、图片评分筛选、图像质量评估、过滤低质量图像等需求时使用此skill。
即使用户没有明确说出"美学评分",只要任务涉及根据图像美学质量来筛选数据, 就应该使用此skill。
インストールする前に、エージェントに与えられる指示の中身を確認できます。
本skill使用预训练的美学评分模型对图像进行质量评估,只保留美学评分在指定范围内的样本。 基于 LAION-Aesthetics Predictor 模型,常用于筛选高质量图像。
当用户请求以下任务时,应使用此skill:
| 参数 | 说明 |
|---|---|
--input | 输入JSON文件路径 |
--output | 输出JSON文件路径 |
| 参数 | 说明 | 默认值 |
|---|---|---|
--hf_scorer_model | 美学评分模型 | shunk031/aesthetics-predictor-v2-sac-logos-ava1-l14-linearMSE |
--min_score | 最小美学评分 | 0.5 |
--max_score | 最大美学评分 | 1.0 |
--any_or_all | 多图像过滤策略 | any |
--image_key | 图像字段的键名 | images |
[
{"images": ["/path/to/image1.jpg"]},
{"images": ["/path/to/image2.jpg"]},
{"images": ["/path/to/image3.png"]}
]
多图像格式:
[
{"images": ["/path/to/image1.jpg", "/path/to/image2.jpg"]},
{"images": ["/path/to/image3.png"]}
]
python scripts/run_image_aesthetics_filter.py \
--input ./input.json \
--output ./output.json
python scripts/run_image_aesthetics_filter.py \
--input ./input.json \
--output ./output.json \
--min_score 0.6 \
--max_score 1.0
python scripts/run_image_aesthetics_filter.py \
--input ./input.json \
--output ./output.json \
--any_or_all all
| 策略 | 说明 |
|---|---|
any | 任一图像满足条件即保留(默认) |
all | 所有图像都满足条件才保留 |
命令行输出:
[OK] Image aesthetics filtering completed!
Scorer model: shunk031/aesthetics-predictor-v2-sac-logos-ava1-l14-linearMSE
Min score: 0.5
Max score: 1.0
Strategy: any
Original documents: 3
Filtered documents: 2
Removed documents: 1
Input file: ./input.json
Output file: ./output.json
输出JSON格式:
[
{"images": ["/path/to/image1.jpg"]},
{"images": ["/path/to/image2.jpg"]}
]
安装依赖: 本SKILL使用依赖 data_juicer,请在调用前安装好python环境并安装data_juicer:
pip install py-data-juicer
额外依赖:
pip install torch torchvision
硬件要求: 建议使用 GPU 加速以提高处理速度。
any_or_all 参数控制过滤策略まだレビューはありません。使ってみた感想をお寄せください。
概要と使いどころ
领域缩略语展开 Skill:按内置或外部词典将独立缩略语替换为全称,可选在全称后保留原缩写。 适用于技术文本、论文摘要和业务记录中的缩写清洗;不负责模糊缩写消歧或大小写无关替换。
日本語の概要は準備中です。原文の説明を表示しています。
字母数字比例过滤器。过滤文本中字母/数字比例不在指定范围内的样本。 当用户提到文本过滤、比例筛选、字母比例、数字比例、清理乱码文本等需求时使用此skill。 即使用户没有明确说出"过滤",只要任务涉及根据文本中字母或数字的比例来筛选数据, 就应该使用此skill。
日本語の概要は準備中です。原文の説明を表示しています。
平均行长度过滤器。过滤文本平均行长度不在指定范围内的样本。 当用户提到行长度过滤、平均行长度、文本行长度筛选、按行筛选等需求时使用此skill。 即使用户没有明确说出"平均行长度",只要任务涉及根据文本中每行的平均长度来筛选数据, 就应该使用此skill。
日本語の概要は準備中です。原文の説明を表示しています。
批量文件清单采集器。扫描一个或多个本地文件/目录,或从任务列表加载路径, 按支持的扩展名生成文件元信息清单,供后续文本、表格、文档、图像等采集流程继续处理。 当用户需要批量盘点待采集文件、生成本地文件 manifest、统计输入文件类型或为后续采集算子准备文件清单时使用此 skill。
日本語の概要は準備中です。原文の説明を表示しています。
批量数据均匀分片工具。读取json/jsonl/csv输入,按份数或固定条数切成多个子文件,输出一个清单JSON供下游节点消费。 当用户提到数据分割、批量拆分、数据分片、均匀分块等需求时使用此skill。 即使用户没有明确说出"分片",只要任务是把整份批量数据均匀拆成多个文件,就应该使用此skill。 不负责按字段分组导出或随机采样。
日本語の概要は準備中です。原文の説明を表示しています。
本skill是用于单细胞测序数据分析的专用技能,首先需要用户上传需要处理的单细胞测序数据,再对经过预处理的单细胞表达数据进行自动化细胞类型注释。它通过基因比对、数据标准化、降维等一系列流程,将细胞聚类结果与已知参考数据库进行匹配,从而为每个细胞分配生物学功能标签。
日本語の概要は準備中です。原文の説明を表示しています。