データ・AIのスキル

Megatron Bridge の学習時に起こるGPUメモリ不足を調べ、メモリの断片化対策、LoRAの保持データ削減、再計算や並列処理設定の調整を案内します。

• 学習中のGPUメモリ不足を調べたいとき
• LoRA学習の入力保持量削減
• 大規模学習前のメモリ見積もり

複数GPUでMoEモデルを学習する際に、データの振り分け方式を選ぶスキルです。GPUの種類や並列化の規模に応じて候補を絞り、性能比較や設定の見直しを支援します。

• GPUに合うMoEの振り分け方式の選定
• 初期動作確認用のalltoall設定
• DeepEPとHybridEPの同条件比較

Megatron Bridgeの学習中に保持する中間データを再計算し、GPUメモリを節約する設定を検証します。モデル構成に合う対象を選び、速度との兼ね合いを測るスキルです。

• 学習中の中間データでメモリ不足になるとき
• attentionやMoEの再計算対象選び
• メモリ節約と学習速度を比較したいとき

NeMo AutoModelに新しいモデル構造を追加するため、設定の調査から実装、重み変換、登録、Hugging Faceとの数値比較までを案内します。

• 新しい言語モデルに対応したいとき
• MoEの重みを変換したいとき
• 画像と文章を扱うモデルの追加

大規模モデルの分散学習で、モデル規模・GPU構成・入力の長さに応じた並列化方式を選び、必要なGPU数の見積もりや設定変更後の性能確認を支援するスキル。

• モデルとGPU数に合う並列化の選定
• MoEモデルの必要GPU数の見積もり
• 長い入力に合わせた並列化の調整

NeMo-RLやNeMo-gymの学習設定を改善するため、仮説ごとの実験、評価指標の比較、gitとTSVによる記録を、人の確認を挟みながら進めるスキル。

• 学習設定の仮説を検証したいとき
• 精度・報酬・処理量の比較
• 再現可能な実験履歴の記録

Megatron-BridgeでMoEの通信と計算を並行実行する設定を検証し、互換性の確認や性能比較を通じて学習速度の改善を試すスキル。

• MoE学習の通信重複を有効にしたいとき
• DeepEP・HybridEPの互換性確認
• 通信重複と勾配計算遅延の比較

モデルやGPUの台数・種類、学習目的に合うMegatron Bridgeの設定を選び、並列処理やバッチサイズの調整と、学習用・性能測定用の違いを案内するスキル。

• 事前学習・追加学習の初期設定選び
• 手持ちのGPUに並列処理を合わせたいとき
• 学習用と性能測定用の設定比較

NeMo AutoModelの複数GPU・複数ノード学習で、分散方式の選択とYAML設定を支援します。モデル規模や長い入力に応じた並列化と制約を整理します。

• 複数GPU向けの学習方式を選びたいとき
• 大規模モデルの並列化設定
• 長い入力をGPU間で分割したいとき

PDFやOfficeファイル、画像・音声・動画を検索用に取り込み、ローカルの索引や既存サービスから質問に関連する根拠を探すスキルです。

• 社内資料から根拠を探したいとき
• 手元のファイルに検索索引を作成
• 既存のRetrieverサービスを検索

Megatron-Bridgeで学習データを並列処理するMegatron FSDPを有効にし、必要な設定、保存形式、併用制約を確認して動作検証まで案内します。

• DDPからMegatron FSDPへの切り替え
• FSDP設定変更後のメモリ不足調査
• 保存形式と併用できない設定の確認

H100・B200・GB200・GB300でMoEモデルを学習する際の設定候補と性能の目安を示し、並列化や通信方式、メモリ対策の比較検証を支援するスキル。

• GPU構成に合うMoE学習設定を選びたいとき
• 通信方式と並列化構成を比較したいとき
• 学習性能の大まかな目安を知りたいとき

Megatron-Bridgeの分散学習で通信と計算を重ねる設定を案内し、テンソル・データ・パイプライン並列ごとの有効化条件や設定の落とし穴、テスト手順を確認するスキル。

• 分散学習で通信重複を有効にしたいとき
• TPの通信重複が無効になる原因の確認
• 設定変更後の学習速度低下の調査

Megatron-LMとMegatron Bridgeで模擬・実データによる学習を実行し、設定の対応付けや損失曲線の比較、複数GPUでの動作確認を支援します。

• MLMとBridgeの損失曲線を比較したいとき
• MLMの引数をBridgeの設定に移したいとき
• 複数GPUで学習を確認したいとき

NVIDIAの音声認識・音声合成・翻訳を、クラウドや自前の環境で導入・実行・テストする手順を案内します。モデル選定や発音調整、動作条件の確認にも対応します。

• 音声認識モデルの導入とテスト
• Magpieで音声を合成したいとき
• 特定の単語の発音を調整したいとき

画像と言語を扱うMoEモデルの学習で、FSDPと3D並列化の選択、メモリ不足への対処、実画像データを使った性能比較や設定調整の進め方を案内します。

• 新規モデルの並列学習方式を選びたいとき
• 学習失敗やメモリ不足の原因調査
• 実画像入力での性能比較

Megatron Bridgeの学習でGPU処理を記録・再実行するCUDA graphsを設定し、適用範囲や制約を確認して速度とメモリ使用量を検証するスキルです。

• 反復全体か部分的な記録かを選びたいとき
• dense・MoE学習の適用範囲設定
• 設定変更後のクラッシュを調べたいとき

医療AIの推論結果から機密情報を除いたメタデータ、生成条件、再現性情報や品質指標をMLflowへ転記し、必要に応じて確認用画像なども記録します。

• 完了した推論をMLflowに記録したいとき
• 生成条件と再現性情報の記録
• 通信せずに転記内容を確認したいとき

Jetson上のLLMの応答時間や生成速度を、vLLM・llama.cpp・Ollama別のスクリプトで測定し、モデルや設定変更の比較に使えるJSONにまとめるスキル。

• 配備したモデルの応答時間を測りたいとき
• 性能調整の前後を比較したいとき
• 条件をそろえてモデルや電力モードを比較

NVIDIA Jetsonのメモリ使用状況と用途に合わせ、言語・画像言語モデルの実行基盤と起動設定を提案します。メモリ不足の対策や省メモリ構成への切り替えに使えます。

• Jetsonの容量に合う実行基盤の選定
• vLLMのメモリ不足を調整したいとき
• vLLMからllama.cppへの移行検討

SLURMクラスタでMegatron-LMの分散学習を実行するため、ジョブスクリプト作成から環境変数の設定、実行監視、プロセス別の障害調査までを案内するスキル。

• 分散学習用スクリプトの作成
• 複数GPUノードで学習したいとき
• 並列化方式に合うCUDA設定の確認

Jetson上のvLLMに、小型モデルの先読み結果を本体が検証する投機的デコードを設定します。少数の同時利用で生成が遅い場面を対象に、メモリ調整と導入前後の速度比較を進めます。

• ThorやAGX Orinの生成速度改善
• EAGLE-3とドラフトモデルの選択
• 設定前後の生成速度を比較したいとき

医療ロボットのシミュレーションで使う行動方針を強化学習で訓練・評価し、書き出したモデルを通常のWorkflowで動作検証するスキル。

• 超音波プローブの到達方針を学習したいとき
• GR00TからTrocar方針を追加学習したいとき
• 既存の学習結果を評価・書き出したいとき

Jetsonの世代とJetPackに合うvLLM・SGLangの実行環境を選び、言語・画像言語モデルをOpenAI互換APIとして起動・確認する手順を案内します。

• Jetsonで言語モデルAPIを起動
• Open WebUIやアプリとの接続
• vLLMで画像言語モデルを配信