データ・AIのスキル

報酬を手がかりにLLMを追加学習するため、verlでのデータ準備・報酬設計・学習設定を案内します。GRPOやPPOの使い分けから複数GPUでの実行まで扱います。

• 正解判定の報酬で数学モデルを学習したいとき
• 価値推定モデルを使うPPOを設定したいとき
• 複数GPUノードで大規模学習を実行したいとき

言語モデルの有害な出力を減らす学習手順を案内します。原則に沿った自己批評と回答修正、AIによる回答比較を使い、教師あり学習から強化学習までを扱います。

• 安全性を学習させる原則の設計
• 自己批評と修正による学習データ作成
• AI評価を用いた強化学習の計画

大規模言語モデルの重みを4ビットに圧縮し、GPUメモリの節約と推論の高速化を図るスキル。AWQによる変換、量子化済みモデルの読み込み、vLLM連携を案内します。

• 少ないGPUメモリでLLMを動かしたいとき
• 専門分野の文章で量子化を調整したいとき
• AWQモデルをvLLMで配信したいとき

LLMの知識・推論・コード生成などを60以上の共通評価課題で検証し、モデル間の性能比較や学習途中の変化の追跡、研究向けの結果整理を支援します。

• 知識・推論の共通課題でモデルを比較
• 学習途中のモデル性能を追跡したいとき
• 研究報告用に評価結果を整理したいとき

大規模言語モデルの学習を複数GPUに分散する設定を支援。NVIDIA Megatron-Coreで並列化方式を選び、メモリ使用量や処理速度を調整します。

• LLaMA型モデルの分散学習設計
• MoEの専門ネットワークの分散配置
• GPU使用効率と学習速度の調整

大量の文章をAIモデル用の単位に高速に分割し、独自語彙の学習から入力の長さ調整まで支援するスキル。分割した単位と原文の位置の対応も確認できます。

• 大量の文章を分割したいとき
• 独自の分割用語彙を学習したいとき
• 抽出した名前や回答を原文に対応付けたいとき

言語モデルの内部反応を少数の特徴へ分解するSAEの学習・分析を案内します。SAELensを使った既存モデルの解析から独自学習、特徴による出力調整まで扱います。

• 学習済みSAEの特徴を調べたいとき
• 特定の層向けにSAEを学習したいとき
• 無反応な特徴や再構成誤差の原因調査

言語モデルを指示データや人の好みに合わせて追加学習する手順を案内します。TRLでの手法選びからデータ準備、報酬モデルの学習、評価、メモリ不足への対処まで扱います。

• 指示と回答の例で追加学習したいとき
• 回答の好みを学習に反映したいとき
• 人の評価を使う学習工程の構築

大規模言語モデルの事前学習を複数GPUで実行するため、torchtitanの設定と起動を支援するスキル。並列処理の組み合わせや学習状態の保存・再開も扱います。

• Llama 3.1 8Bを8基のGPUで事前学習
• SLURMで複数ノードの学習を設定
• H100でFloat8学習を有効化

言語モデル内部の中間値や注目先をTransformerLensで調べ、値の差し替え実験から出力への影響を探ります。予測に関わる内部の仕組みを分析するスキルです。

• 注意パターンや中間値を観察したいとき
• 活性値の差し替えで出力変化を調べる
• 各ヘッドの予測への寄与を分析

回答の正しさや出力形式を点数で評価し、言語モデルを追加学習する実装を支援します。TRLを用いたデータ準備、報酬関数の設計、学習設定、進捗確認まで扱います。

• JSONやXMLの出力形式を学習させたいとき
• 数学やコードの正解に報酬を与えたいとき
• 正確さ・形式・文体を両立する追加学習

RWKVの導入から文章生成、長文の分割処理、追加学習までを案内します。推論時の状態の引き継ぎやメモリ特性を理解し、モデルを使う実装に役立つスキルです。

• 文章を逐次生成したいとき
• 長文を分割して処理したいとき
• RWKVの追加学習を検討したいとき

LLMへの入力と生成した応答を、暴力や自傷などの安全性カテゴリで判定します。LlamaGuardの導入から一括処理、判定APIの構築までを案内するスキルです。

• LLMに渡す前の入力検査
• 表示前の生成応答の安全性確認
• 安全性判定APIの構築

小さなGPTの学習と文章生成を通じて、言語モデルの仕組みを学ぶスキル。CPUでの実験から独自テキストでの学習、GPT-2の追加学習や複数GPUでの再現まで扱います。

• CPUでShakespeareを学習したいとき
• 独自テキストを学習データにしたいとき
• 学習済みGPT-2を追加学習したいとき

1台のGPUに収まらないモデルの学習に向け、PyTorch FSDP2を既存コードへ組み込みます。複数GPUへの分割、精度設定、学習状態の保存と復元を支援します。

• 1台のGPUに収まらないモデルの学習
• 既存の学習コードへのFSDP2導入
• 混合精度とCPUへの退避設定

言語モデルの追加学習をUnslothで進めるための資料参照と実装相談を支援。LoRAやQLoRAを使う学習の高速化・省メモリ化を軸に、APIの確認や不具合の調査を案内します。

• 学習の高速化と省メモリ化を調べたいとき
• LoRAやQLoRAの追加学習を学ぶ
• Unslothの機能やAPIを確認

LLMを用途に合わせて追加学習するために、WebUIでのコード不要の操作やLoRA・QLoRAの活用、実装や不具合の調査を資料に沿って支援するスキル。

• 画面操作で追加学習を学びたいとき
• LoRA・QLoRAの学習方法の確認
• 対応モデルやマルチモーダル機能の確認

大規模言語モデルの一部だけを追加学習し、GPUメモリを抑えて用途別に調整するスキル。LoRA・QLoRAの設定から学習結果の保存・切り替えまで案内します。

• 限られたGPUメモリで追加学習したいとき
• 用途に合うLoRA設定を選びたいとき
• 同じモデルで用途別の学習結果を切り替えたいとき

PyTorchモデルの内部状態を観察・書き換え、予測への影響を調べる実験を支援します。NDIFを使い、手元のGPUでは扱えない大規模モデルでも検証できます。

• 各層の内部状態や注目の分布を調べたいとき
• 内部数値を置き換えて予測を比較したいとき
• 手元のGPUなしで大規模モデルを調べたいとき

Axolotlを使うLLMの追加学習で、YAML設定や学習手法の選択、データ形式の確認、複数GPUでの設定や不具合調査を支援するスキル。

• 追加学習用のYAML設定作成
• LoRAや好みに基づく学習手法の検討
• データ形式と入力処理の確認

機械学習向けの大量データを読み込み、前処理や一括推論を複数のCPU・GPUに分散するスキル。手元の端末からクラスタまで、処理規模に応じた構成を案内します。

• メモリに収まらないデータを前処理したいとき
• 複数GPUで一括推論したいとき
• 画像や表データを学習用に整えたいとき

日本語を含む多言語テキストを、AIモデルが扱う単位に分割する処理を支援するスキル。生の文章からの独自語彙の学習や、分割結果・数値IDへの変換を案内します。

• 多言語AIモデル向けのテキスト準備
• 日本語の文章から語彙を学習したいとき
• 同じ分割処理を再現したいとき

大規模LLMの強化学習をmilesで設定する手順を案内します。複数の専門部分を持つMoEモデルを対象に、低精度学習や学習・推論の整合、生成処理の高速化を扱います。

• 大規模MoEモデルを強化学習したいとき
• FP8・INT4学習の設定
• 学習時と推論時の整合確認

大規模言語モデルを人の好みに合わせて追加学習するために、PPO・GRPO・DPOなどの手法選びから、複数GPUでの分散学習設定やメモリ調整までを支援するスキル。

• 好みに合わせる学習手法を選びたいとき
• 複数GPUで分散学習したいとき
• 報酬モデルを学習してPPOを試したいとき