「分词」の検索結果

使用Python的jieba库对文本文件进行分词和词频统计，并按指定格式（词,词频）输出频率最高的N个词。

日本語の概要は準備中です。原文の説明を表示しています。

重采样：把已有多轮对话数据的每条 assistant 回答丢弃，用 verifier 模型/vLLM 服务逐轮重生成，产出可直接进训练的预分词样本（每行含 input_ids/loss_mask）。依赖支持 return_token_ids 的 OpenAI 兼容 chat 服务（服务需由用户提前就绪，本技能不负责拉起服务）。触发：用某模型对某个数据集做重采样/重生成（如“对这个数据集用这个模型做重采样”）、把对话回答用模型重写、生成预分词样本/on-policy/MTP 训练数据。

日本語の概要は準備中です。原文の説明を表示しています。

使用Python的jieba库对文本文件进行分词和词频统计，并按指定格式（词,词频）输出频率最高的N个词。

日本語の概要は準備中です。原文の説明を表示しています。

评论区量化分析：对一批评论做情感分析（正/中/负占比 + 代表评论）、高频词与短语提取、 以及需求/吐槽/提问的诉求挖掘，为内容复盘和选题反哺提供数据。当用户说"评论情感分析" "评论区分析""用户在说什么""评论正负面比例""评论高频词""评论关键词""口碑分析""评论词云" "用户诉求""评论区吐槽"时使用。基于 jieba（分词）+ SnowNLP（情感）+ 社媒情感词典。

日本語の概要は準備中です。原文の説明を表示しています。

将特定格式的基站设备字符串（如LYG_GY_ZX_...）解析为三个部分：区域厂家前缀、位置/单位名称、设备型号后缀，并根据需要提供Python实现代码。

日本語の概要は準備中です。原文の説明を表示しています。

Token数量过滤器。筛选器将总令牌数的样本保留在特定范围内。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到token数量过滤、文本token数筛选、按token数过滤、文本分词过滤等需求时使用此skill。

日本語の概要は準備中です。原文の説明を表示しています。

关键词提取标注工具。读取包含文本字段的表格或JSONL语料，为每条记录提取核心关键词并写入新增关键词字段。 当用户提到关键词提取、关键词抽取、文本关键词、标签提取等需求时使用此skill。 即使用户没有明确说出"keyword_extractor"，只要任务涉及从文本内容中提取重要词汇或短语作为标签，就应该使用此skill。 不负责按预置领域关键词库做相关性筛选、文本清洗、分词结果展开或章节切分。

日本語の概要は準備中です。原文の説明を表示しています。