Orchestra Research

大規模言語モデルの重みを4ビットに圧縮し、GPUメモリの節約と推論の高速化を図るスキル。AWQによる変換、量子化済みモデルの読み込み、vLLM連携を案内します。

• 少ないGPUメモリでLLMを動かしたいとき
• 専門分野の文章で量子化を調整したいとき
• AWQモデルをvLLMで配信したいとき

PyTorchモデルの内部状態を観察・書き換え、予測への影響を調べる実験を支援します。NDIFを使い、手元のGPUでは扱えない大規模モデルでも検証できます。

• 各層の内部状態や注目の分布を調べたいとき
• 内部数値を置き換えて予測を比較したいとき
• 手元のGPUなしで大規模モデルを調べたいとき

大規模言語モデルの一部だけを追加学習し、GPUメモリを抑えて用途別に調整するスキル。LoRA・QLoRAの設定から学習結果の保存・切り替えまで案内します。

• 限られたGPUメモリで追加学習したいとき
• 用途に合うLoRA設定を選びたいとき
• 同じモデルで用途別の学習結果を切り替えたいとき

LLMを用途に合わせて追加学習するために、WebUIでのコード不要の操作やLoRA・QLoRAの活用、実装や不具合の調査を資料に沿って支援するスキル。

• 画面操作で追加学習を学びたいとき
• LoRA・QLoRAの学習方法の確認
• 対応モデルやマルチモーダル機能の確認

言語モデル内部の中間値や注目先をTransformerLensで調べ、値の差し替え実験から出力への影響を探ります。予測に関わる内部の仕組みを分析するスキルです。

• 注意パターンや中間値を観察したいとき
• 活性値の差し替えで出力変化を調べる
• 各ヘッドの予測への寄与を分析

言語モデルの追加学習をUnslothで進めるための資料参照と実装相談を支援。LoRAやQLoRAを使う学習の高速化・省メモリ化を軸に、APIの確認や不具合の調査を案内します。

• 学習の高速化と省メモリ化を調べたいとき
• LoRAやQLoRAの追加学習を学ぶ
• Unslothの機能やAPIを確認

大規模モデルを複数のGPUで学習するために、DeepSpeedの実装や設定、問題調査を支援するスキル。メモリ最適化やストレージ入出力の調整も扱います。

• モデルの分散学習設定を見直したいとき
• NVMeとテンソル間の転送を調整したいとき
• MoEモデルの学習を設定したいとき

大規模LLMの強化学習をmilesで設定する手順を案内します。複数の専門部分を持つMoEモデルを対象に、低精度学習や学習・推論の整合、生成処理の高速化を扱います。

• 大規模MoEモデルを強化学習したいとき
• FP8・INT4学習の設定
• 学習時と推論時の整合確認

報酬を手がかりにLLMを追加学習するため、verlでのデータ準備・報酬設計・学習設定を案内します。GRPOやPPOの使い分けから複数GPUでの実行まで扱います。

• 正解判定の報酬で数学モデルを学習したいとき
• 価値推定モデルを使うPPOを設定したいとき
• 複数GPUノードで大規模学習を実行したいとき

機械学習の訓練を複数のGPUやマシンへ広げる手順を案内します。Ray Trainでの分散学習、学習条件の比較、障害からの復旧設定まで支援するスキルです。

• 既存のPyTorch学習を複数GPU化
• HuggingFaceの複数マシン学習
• Ray Tuneで学習条件を比較

機械学習の学習・バッチ処理を複数クラウドで動かす設定を支援します。GPU要件に応じた低コスト環境の選択や、スポットインスタンスの中断からの自動復旧を扱います。

• GPU学習のクラウド費用を抑えたいとき
• 中断から復旧する長時間学習の設定
• 複数マシンでの分散学習の設定

PyTorchの学習コードを整理し、学習・検証・記録を共通の仕組みで管理するスキル。モデルの自動保存や早期終了、複数GPUでの学習設定を案内します。

• 既存のPyTorch学習コードを整理したいとき
• 検証と指標の記録を追加したいとき
• 良いモデルの保存と早期終了を設定したいとき

好ましい回答と好ましくない回答のペアを使い、参照モデルなしで言語モデルを追加学習するスキル。SimPOの設定作成や学習率の調整、メモリ不足への対処を案内します。

• 回答の好みを示すペアで学習したいとき
• 参照モデル不要のDPO代替を試したいとき
• 数学やコード向けの追加学習設定

CPUやApple Silicon、AMD・IntelのGPUでLLMを動かす手順を案内します。GGUF形式のモデル選びから量子化、チャット用APIの起動まで扱います。

• Apple SiliconのMacでLLMを動かしたいとき
• CPUのみの端末でLLMを試したいとき
• メモリ容量に合うモデル選び

言語モデルの内部反応を少数の特徴へ分解するSAEの学習・分析を案内します。SAELensを使った既存モデルの解析から独自学習、特徴による出力調整まで扱います。

• 学習済みSAEの特徴を調べたいとき
• 特定の層向けにSAEを学習したいとき
• 無反応な特徴や再構成誤差の原因調査

LLMアプリの入力と出力に安全確認を組み込むスキル。指示の回避を狙う入力の検出、個人情報のマスキング、回答の事実確認などを設定する手順を案内します。

• 安全ルールを回避する入力を検出したいとき
• 処理前に個人情報をマスクしたいとき
• 生成した回答に事実確認を加えたいとき

大規模言語モデルを報酬に基づいて追加学習する手順を案内します。Megatron-LM と SGLang を使い、学習データの準備から非同期実行、独自の生成処理まで扱います。

• GLM や Qwen3 の GRPO 学習準備
• 回答生成と学習を非同期で動かしたいとき
• 複数ターンでツールを使うエージェント学習

LLMの学習用データを整えるスキル。GPUを使った重複除去や品質フィルタリング、個人情報の除去を支援し、テキスト・画像・動画・音声の前処理を案内します。

• Webデータを学習用に整えたいとき
• 大量の文章から重複を除きたいとき
• 学習用文章の個人情報を除きたいとき

日本語を含む多言語テキストを、AIモデルが扱う単位に分割する処理を支援するスキル。生の文章からの独自語彙の学習や、分割結果・数値IDへの変換を案内します。

• 多言語AIモデル向けのテキスト準備
• 日本語の文章から語彙を学習したいとき
• 同じ分割処理を再現したいとき

大規模言語モデルの学習を複数GPUに分散する設定を支援。NVIDIA Megatron-Coreで並列化方式を選び、メモリ使用量や処理速度を調整します。

• LLaMA型モデルの分散学習設計
• MoEの専門ネットワークの分散配置
• GPU使用効率と学習速度の調整

文献調査から仮説検証、結果の考察、論文草稿までAI研究の進行を管理。実験を繰り返す流れと成果を振り返る流れを組み合わせ、次の研究方針を整理します。

• 研究課題から検証可能な仮説を作りたいとき
• 複数仮説の反復実験の管理
• 記録した知見と状態からの研究再開

LLMへの入力や外部資料に紛れた不正な指示、安全制約を回避する試みを検出します。検索文書の一括検査や、判定基準の調整、長文の分割処理を案内するスキルです。

• LLMへの指示上書きの試みを検出
• API応答に紛れた不正な指示の確認
• RAGで検索した文書の一括検査

大規模言語モデルを4ビット・8ビットで読み込み、GPUメモリの使用量を抑えるスキル。bitsandbytesの量子化設定、動作確認、追加学習まで案内します。

• GPUメモリに大きなモデルを収めたいとき
• 4ビットと8ビットの設定比較
• 量子化したモデルを追加学習したいとき

既存のPyTorch学習コードを、複数のGPUやマシンで動かすためのスキル。Accelerateを使い、実行環境の設定やメモリ使用量を抑える学習手法の導入を案内します。

• 単一GPUの学習を複数GPUへ移したいとき
• 混合精度で学習メモリを抑えたいとき
• DeepSpeedやFSDPを設定したいとき