跳到正文
cccskills
免费在 GitHub 公开中文介绍

pytorch-fsdp

帮助实现和排查使用PyTorch FSDP的大模型分布式训练代码。通过源自官方文档的说明与示例,比较分片策略,并查看混合精度和训练状态保存的实现。

原文查看原文说明

Fully sharded data-parallel training for large models.

AI 评分80分/ 100查看安装方法

适用场景

  • 实现大模型分布式训练
  • 比较FSDP应用方法与分片策略
  • 查看混合精度与检查点示例
  • 排查现有FSDP代码问题

中文介绍

功能

本技能帮助您使用PyTorch FSDP实现大模型分布式训练、查阅API并排查代码问题。FSDP将训练所需的状态分散到多个设备上。借助源自官方文档的参考资料和代码示例,您可以研究如何将其应用于模型,以及如何选择分片策略。

适用场景

适合初次学习FSDP,或准备将其加入现有训练代码时使用。需要查看不同设置的实现示例时也可使用,包括混合精度,即在计算中组合使用不同数值精度,以及检查点,即保存训练状态。常见实现模式汇总在references/common-patterns.md中,便于编写或检查代码时查阅。

使用示例

  • “给我一个使用FSDP的分布式训练代码示例。”
  • “比较将FSDP应用于模型的方法及分片策略。”
  • “参考混合精度和检查点示例,检查这段代码。”

注意事项

列出的依赖库为torch>=2.0和transformers,支持环境为Linux和macOS。详细说明和代码示例需要查阅附带的参考文件。技能采用MIT许可证。

本介绍由 AI(OpenAI Codex)根据公开的 SKILL.md 撰写。准确的规格请查看下方原文。

客观评估

AI 仅根据 SKILL.md 的内容,从 4 个方面进行了评估。星标数和热度不计入评估。

指令清晰度能否看出何时使用、做什么
A良好使用场景明确列出FSDP实现、API查询和代码排错。
步骤具体性步骤、输入输出和示例是否具体
B部分不足具体示例指向references/common-patterns.md,正文仅列概略步骤。
安全性发送数据、删除文件、执行命令等是否有说明
A良好主要操作是读取参考文件,未要求删除文件或获取凭据。
安装难易度所需工具和 API 密钥是否少且有说明
B部分不足列出torch>=2.0、transformers和支持系统,但未提供安装步骤。

总分按每项 A=25 分、B=15 分、C=5 分相加。 由 AI(OpenAI Codex)于 2026年10月20日 评估。仅供参考,安装前请同时查看原文。

如果您认为评估有误,请申请复核

请写明哪一项有误以及原因。无需登录。我们会对照 SKILL.md 重新评估,并在此处更新结果。

此表单受 reCAPTCHA 保护,适用 Google 的隐私权政策和服务条款。

包含的文件(4)

  • SKILL.md2.4 KB
  • references/common-patterns.md154.4 KB
  • references/index.md96 B
  • references/other.md329.7 KB

SKILL.md(原文)

安装前可以查看交给 AI 代理的指令内容。

Pytorch-Fsdp Skill

Assistance with pytorch-fsdp development, generated from official documentation.

When to Use This Skill

This skill should be triggered when:

  • Working with pytorch-fsdp
  • Asking about pytorch-fsdp features or APIs
  • Implementing pytorch-fsdp solutions
  • Debugging pytorch-fsdp code
  • Learning pytorch-fsdp best practices

Quick Reference

The full common-patterns catalog (~157k chars of runnable FSDP snippets) lives in references/common-patterns.md — load it with read_file when you need wrapping, sharding-strategy, checkpoint, or mixed-precision examples. Start there rather than reconstructing FSDP incantations from memory.

Reference Files

This skill includes comprehensive documentation in references/:

  • other.md - Other documentation

Use view to read specific reference files when detailed information is needed.

Working with This Skill

For Beginners

Start with the getting_started or tutorials reference files for foundational concepts.

For Specific Features

Use the appropriate category reference file (api, guides, etc.) for detailed information.

For Code Examples

The quick reference section above contains common patterns extracted from the official docs.

Resources

references/

Organized documentation extracted from official sources. These files contain:

  • Detailed explanations
  • Code examples with language annotations
  • Links to original documentation
  • Table of contents for quick navigation

scripts/

Add helper scripts here for common automation tasks.

assets/

Add templates, boilerplate, or example projects here.

Notes

  • This skill was automatically generated from official documentation
  • Reference files preserve the structure and examples from source docs
  • Code examples include language detection for better syntax highlighting
  • Quick reference patterns are extracted from common usage examples in the docs

Updating

To refresh this skill with updated documentation:

  1. Re-run the scraper with the same configuration
  2. The skill will be rebuilt with the latest information

评价

还没有评价。欢迎分享你的使用感受。

评论

无需登录即可发表。欢迎分享使用感受、提问,或说明在哪些环境下无法运行。

还没有评论。来写第一条吧。

提交后会立即公开。请勿填写邮箱、电话等个人信息。URL 最多 2 个。

0 / 1000 字

此表单受 reCAPTCHA 保护,适用 Google 的隐私权政策和服务条款。

同一仓库的技能

1password

免费有简介AI 评分 100分

通过1Password CLI,将保存的密码和API密钥用于命令及配置模板,完成安装、认证、秘密值读取,并通过环境变量向命令传递凭据。

  • 安装并配置1Password CLI
  • 使用已保存的API密钥运行命令
  • 向配置模板填入秘密值
NousResearch/hermes-agent25.5万2026年10月19日 更新

3-statement-model

免费有简介AI 评分 90分

创建用公式联动利润表、资产负债表和现金流量表的 Excel 模型,分阶段填入历史实际数据与预测假设,比较不同情景,并检查三张报表之间的一致性。

  • 向财务模板填入历史实际数据
  • 建立三张财务报表联动的预测
  • 比较基准、乐观和悲观情景
NousResearch/hermes-agent25.5万2026年10月19日 更新

accelerate

免费有简介AI 评分 80分

以少量修改让现有PyTorch训练代码适用于多GPU或多台机器,指导混合精度、节省内存的DeepSpeed与FSDP配置,以及训练启动方法。

  • 将单GPU训练迁移至多GPU
  • 配置混合精度训练
  • 通过DeepSpeed或FSDP节省内存
NousResearch/hermes-agent25.5万2026年10月19日 更新

Configure Hermes to run AI models through Actual Computer on your own hardware. Set up either the hosted relay or a local connection, select models, verify responses, and troubleshoot request errors or empty output.

中文简介正在准备中。当前显示英语简介。

  • Connecting Hermes with an Actual inference key
  • Running models through a local Actual daemon
  • Downloading and loading local models
NousResearch/hermes-agent25.5万2026年10月19日 更新

adversarial-ux-test

免费有简介AI 评分 80分

扮演不擅长技术、容易不满的用户测试应用,发现难懂的操作和导致放弃使用的障碍。将实际可改进的问题与个人抱怨分开,整理截图、修复建议和任务单。

  • 在发布或演示前检查易用性
  • 检查新用户的使用体验
  • 查找注册和付费流程中的障碍
NousResearch/hermes-agent25.5万2026年10月19日 更新

agent-merge-conflict-arbiter

免费有简介AI 评分 100分

从中立立场解决两个智能体分别修改代码产生的Git冲突,对照双方差异和意图,记录每处冲突的取舍理由,并通过构建或测试验证合并结果。

  • 解决两个智能体的分支冲突
  • 整合并行工作树中的修改
  • 核对冲突设计决策的理由
NousResearch/hermes-agent25.5万2026年10月19日 更新

查看 NousResearch 的全部技能

报告此技能的问题