データ・AIのスキル

Write ggsql queries — a grammar of graphics for SQL. Use when the user wants to create, modify, or understand a ggsql visualization query.

日本語の概要は準備中です。原文の説明を表示しています。

TSV格式化器。用于加载和格式化tsv类型的文件。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到TSV格式化、TSV数据加载、读取TSV文件、TSV转JSONL等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

Token数量过滤器。筛选器将总令牌数的样本保留在特定范围内。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到token数量过滤、文本token数筛选、按token数过滤、文本分词过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

文本实体依赖过滤器。识别文本中与其他令牌独立的实体，并对其进行过滤。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到实体依赖过滤、文本实体检测、依存关系过滤、实体独立性过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

后缀过滤器。过滤器以保留具有指定后缀的样本。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到后缀过滤、文件类型过滤、按文件后缀筛选等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

统计与机器学习异常值检测工具。读取结构化表格数据，使用 IQR、Z-score、IsolationForest 或分组标准差一致性方法识别异常值，输出带异常标记、删除异常行或裁剪异常值后的结果文件。 当用户提到异常值检测、离群值识别、IQR、Z-score、IsolationForest、按实验组/分类组检查数值一致性等需求时使用此skill。 即使用户没有明确说出“statistical_outlier_detector”，只要任务涉及结构化数值字段异常识别或分组均值标准差一致性检查，就应该使用此skill。 不负责字段固定阈值上下限校验、枚举值校验、时间序列缺失/频率校验或格式转换。

日本語の概要は準備中です。原文の説明を表示しています。

指定数值字段过滤器。根据指定的数值字段信息进行筛选。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到数值字段过滤、字段范围筛选、数值范围过滤、元数据数值过滤、按数值过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

特殊字符过滤器。过滤器将具有特殊字符比率的样品保持在特定范围内。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到特殊字符过滤、特殊字符比例过滤、文本特殊字符检测、清理乱码文本等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

文本对相似度过滤器。过滤器将文本之间具有相似性的文本对保留在特定范围内。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到文本对相似度过滤、文本对过滤、双文本相似度、文本配对过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

指定字段过滤器。根据指定的字段信息进行筛选。支持对JSONL格式数据指定字段进行过滤。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到字段过滤、字段值筛选、元数据过滤、指定字段过滤、按字段值过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

文本动作词过滤器。过滤以保留文本中包含操作的文本。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到动作词过滤、动词检测、文本动作过滤、文本操作词过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

远程格式化器。用于从huggingface hub的存储库加载数据集。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到加载HuggingFace数据集、远程数据集加载、HuggingFace Hub等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

数值关联规则校验工具。读取被检验表，根据用户自定义的条件表达式（类似Hive SQL规则）进行数据校验， 具有关联关系的数据项需满足特定约束条件。不满足条件的数据会标记质控标识并输出异常数据。 当用户提到关联规则校验、数据约束校验、自定义规则校验、条件表达式校验等需求时使用此skill。 即使用户没有说出"关联规则"，只要任务涉及根据自定义条件表达式进行数据校验，就应该使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

混合格式化器。该类通过从每个数据集中随机选择样本并合并它们来混合多个数据集，然后将合并的数据集导出为新的混合数据集。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到混合数据集、合并多个数据集、数据集混合、数据融合等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

困惑度过滤器。过滤以保留困惑度分数小于特定最大值的样本。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到困惑度过滤、文本困惑度检测、语言模型分数过滤、文本质量过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

Parquet格式化器。用于加载和格式化parquet类型的文件。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到Parquet格式化、Parquet数据加载、读取Parquet文件、Parquet转JSONL等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

语言识别分数过滤器。过滤器以保留置信度得分大于特定最小值的特定语言的样本。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到语言识别过滤、语言检测、文本语言筛选、按语言过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

空数据格式化器。用于创建空数据。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到创建空数据集、生成空数据、初始化数据集、测试用空数据等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

本地格式化器。类用于从本地文件或本地目录加载数据集。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到加载本地数据集、读取本地文件、格式化本地数据、数据集加载等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

最大行长度过滤器。过滤器将最大行长度的样本保持在特定范围内。支持对JSONL格式数据指定字段进行过滤。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到最大行长度过滤、文本行长筛选、最长行过滤、按行长度过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

精确去重工具。使用pandas精确匹配检测并处理数据集中的完全重复记录，速度快、无额外依赖。 当用户提到精确去重、完全重复检测、数据去重等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

CSV格式化器。用于加载和格式化csv类型的文件。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到CSV格式化、CSV数据加载、读取CSV文件、CSV转JSONL等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

LLM 文件转换算子。用于读取一个文本文件，按照给定指令调用大模型进行内容转换，并输出新的文本文件。

日本語の概要は準備中です。原文の説明を表示しています。

Use this skill for Hugging Face Dataset Viewer API workflows that fetch subset/split metadata, paginate rows, search text, apply filters, download parquet URLs, and read size or statistics.

日本語の概要は準備中です。原文の説明を表示しています。