Orchestra Research

長い文章を扱うモデルの学習・推論で、Flash Attentionによる計算の高速化とGPUメモリ削減を支援し、組み込みから速度・出力比較まで案内するスキル。

• 長い入力でGPUメモリを節約したいとき
• PyTorchモデルへの組み込み
• 変更前後の速度と出力の比較

大量の文章をAIモデル用の単位に高速に分割し、独自語彙の学習から入力の長さ調整まで支援するスキル。分割した単位と原文の位置の対応も確認できます。

• 大量の文章を分割したいとき
• 独自の分割用語彙を学習したいとき
• 抽出した名前や回答を原文に対応付けたいとき

Axolotlを使うLLMの追加学習で、YAML設定や学習手法の選択、データ形式の確認、複数GPUでの設定や不具合調査を支援するスキル。

• 追加学習用のYAML設定作成
• LoRAや好みに基づく学習手法の検討
• データ形式と入力処理の確認

大規模言語モデルを人の好みに合わせて追加学習するために、PPO・GRPO・DPOなどの手法選びから、複数GPUでの分散学習設定やメモリ調整までを支援するスキル。

• 好みに合わせる学習手法を選びたいとき
• 複数GPUで分散学習したいとき
• 報酬モデルを学習してPPOを試したいとき

言語モデルの有害な出力を減らす学習手順を案内します。原則に沿った自己批評と回答修正、AIによる回答比較を使い、教師あり学習から強化学習までを扱います。

• 安全性を学習させる原則の設計
• 自己批評と修正による学習データ作成
• AI評価を用いた強化学習の計画

大規模言語モデルの構造を学びながら、LitGPTで独自データによる追加学習や事前学習を進めるスキル。モデルの取得から学習設定、変換、APIでの提供まで案内します。

• コードを読みながらLLMの構造を学びたいとき
• 独自の指示データでモデルを追加学習したいとき
• 単一GPUでLoRA学習を設定したいとき

大規模言語モデルの事前学習を複数GPUで実行するため、torchtitanの設定と起動を支援するスキル。並列処理の組み合わせや学習状態の保存・再開も扱います。

• Llama 3.1 8Bを8基のGPUで事前学習
• SLURMで複数ノードの学習を設定
• H100でFloat8学習を有効化

RWKVの導入から文章生成、長文の分割処理、追加学習までを案内します。推論時の状態の引き継ぎやメモリ特性を理解し、モデルを使う実装に役立つスキルです。

• 文章を逐次生成したいとき
• 長文を分割して処理したいとき
• RWKVの追加学習を検討したいとき

LLMへの入力と生成した応答を、暴力や自傷などの安全性カテゴリで判定します。LlamaGuardの導入から一括処理、判定APIの構築までを案内するスキルです。

• LLMに渡す前の入力検査
• 表示前の生成応答の安全性確認
• 安全性判定APIの構築

言語モデルを指示データや人の好みに合わせて追加学習する手順を案内します。TRLでの手法選びからデータ準備、報酬モデルの学習、評価、メモリ不足への対処まで扱います。

• 指示と回答の例で追加学習したいとき
• 回答の好みを学習に反映したいとき
• 人の評価を使う学習工程の構築

LLMの知識・推論・コード生成などを60以上の共通評価課題で検証し、モデル間の性能比較や学習途中の変化の追跡、研究向けの結果整理を支援します。

• 知識・推論の共通課題でモデルを比較
• 学習途中のモデル性能を追跡したいとき
• 研究報告用に評価結果を整理したいとき

機械学習向けの大量データを読み込み、前処理や一括推論を複数のCPU・GPUに分散するスキル。手元の端末からクラスタまで、処理規模に応じた構成を案内します。

• メモリに収まらないデータを前処理したいとき
• 複数GPUで一括推論したいとき
• 画像や表データを学習用に整えたいとき

PyTorchで報酬に基づく強化学習を進めるためのガイドです。torchforgeを使い、報酬や損失関数の実装から複数GPUでの分散学習まで支援します。

• GRPOで数学の推論を学習したいとき
• 独自の損失関数を試したいとき
• 複数GPUや複数ノードでの学習

長い文章や連続データを効率よく処理するMambaの実装を支援します。学習済みモデルでの文章生成、Mamba-1とMamba-2の設定比較、推論速度の測定まで扱います。

• 長い入力やストリーミング向けモデルの検討
• 学習済みMambaで文章を生成したいとき
• Mamba-1とMamba-2の設定比較

言語モデルをGGUF形式に変換し、重みの精度を下げて軽量化する手順を案内。CPUやApple Siliconで動かす設定や、容量と品質に応じた圧縮方式の選択を支援します。

• GPUなしで言語モデルを動かしたいとき
• メモリ容量に合う圧縮方式の選択
• Apple SiliconのMetal設定

小さなGPTの学習と文章生成を通じて、言語モデルの仕組みを学ぶスキル。CPUでの実験から独自テキストでの学習、GPT-2の追加学習や複数GPUでの再現まで扱います。

• CPUでShakespeareを学習したいとき
• 独自テキストを学習データにしたいとき
• 学習済みGPT-2を追加学習したいとき

コード生成モデルの解答をテストで評価し、モデル間や言語間の性能を比較します。HumanEval などの課題選びから実行設定、結果の比較表作成までを案内します。

• 共通の課題でコード生成モデルを比較
• プログラミング言語別の性能評価
• 指示に応じるコード生成モデルの評価

1台のGPUに収まらないモデルの学習に向け、PyTorch FSDP2を既存コードへ組み込みます。複数GPUへの分割、精度設定、学習状態の保存と復元を支援します。

• 1台のGPUに収まらないモデルの学習
• 既存の学習コードへのFSDP2導入
• 混合精度とCPUへの退避設定

回答の正しさや出力形式を点数で評価し、言語モデルを追加学習する実装を支援します。TRLを用いたデータ準備、報酬関数の設計、学習設定、進捗確認まで扱います。

• JSONやXMLの出力形式を学習させたいとき
• 数学やコードの正解に報酬を与えたいとき
• 正確さ・形式・文体を両立する追加学習

PyTorchでのモデル学習・微調整を、構造の選択から学習率や最適化手法の設定まで支援します。損失の急増やGPUメモリ不足の調査、実験結果の比較も扱います。

• データ種別と規模からモデルを選びたいとき
• 最適化手法や学習率の変化を設定したいとき
• 損失急増やNaN、GPUメモリ不足を調べたいとき

ModalのクラウドGPUで機械学習の学習・推論・バッチ処理を動かすためのスキル。Pythonによる実行環境の定義からAPI公開、自動スケーリングまで案内します。

• サーバー管理なしでGPU推論を行いたいとき
• 自動スケーリングするモデルAPIの公開
• 大量データの並列バッチ処理

言語モデルの知識・数学・コード生成・安全性などを共通の設定で評価。DockerやSlurmでベンチマークを実行し、複数モデルの結果比較と書き出しを支援します。

• 同じ評価課題でのモデル比較
• 本番評価前の少数サンプルでの動作確認
• Slurmでの大規模評価

機械学習の学習・推論に使うLambda LabsのGPU環境を構築し、SSH接続やデータの永続保存、複数GPUでの実行と運用管理を支援するスキル。

• LLMの追加学習用GPUを準備したいとき
• データや学習途中の状態を残したいとき
• APIで起動と終了を自動化したいとき

調整用データを用意せずに、言語モデルの重みを少ないビット数で表す量子化を支援します。精度や層ごとの設定、実行環境の選択から保存・追加学習まで扱います。

• 調整用データなしでモデルを圧縮したいとき
• 4ビットと2ビットの設定比較
• HuggingFace TransformersやvLLMでの実行