データ・AIのスキル

社内資料を参照する回答機能や、ツールを使うAIエージェントの設計を支援します。プロンプトの比較から品質・費用の監視まで、LLMアプリの実装例を示します。

• 社内資料を参照する回答機能の開発
• ツールを使うエージェントの構成選び
• プロンプトの比較と版管理

長い文章を少ないメモリで扱うAIモデルの導入を支援します。RWKVによる逐次的な文章生成、状態の引き継ぎ、追加学習やTransformerとの比較を案内するスキルです。

• 文章を逐次生成したいとき
• 長い文書を分割処理したいとき
• Transformerとメモリ要件を比較

LLMアプリの回答品質を、自動採点、人による確認、別のLLMによる採点で評価します。モデルやプロンプトの比較から、変更後の品質低下の検出まで支援します。

• モデルやプロンプトを比較したいとき
• 公開前に回答品質を確認したいとき
• RAGの検索品質の評価

LLMアプリの処理履歴やコスト、応答速度をLangfuseで記録し、プロンプトの版管理や評価データを使った比較を通じて、不具合調査と改善を支援するスキル。

• LLMアプリの不具合を調べたいとき
• プロンプトの版と評価を比較したいとき
• LLMのコストと応答速度の監視

画像の説明文生成、画像への質問応答、文章による画像検索をBLIP-2で実装するために、モデル選びや一括処理、省メモリ設定まで案内するスキル。

• 複数画像の説明文を生成したいとき
• 画像への質問応答を実装したいとき
• 文章で画像を検索したいとき

大規模言語モデルの構造を学びながら、LitGPTで独自データによる追加学習や事前学習を進めるスキル。モデルの取得から学習設定、変換、APIでの提供まで案内します。

• コードを読みながらLLMの構造を学びたいとき
• 独自の指示データでモデルを追加学習したいとき
• 単一GPUでLoRA学習を設定したいとき

LLMを用途に合わせて追加学習するため、Axolotlの設定作成や不具合調査を支援します。YAML設定、LoRA・QLoRA、複数GPUでの学習を扱います。

• 追加学習のYAML設定を作りたいとき
• LoRA・QLoRAの学習を検討したいとき
• 複数GPUでの学習設定

W&Bで機械学習の実験条件や評価値を記録し、学習状況の可視化と実験比較、設定値の自動探索、データやモデルの版管理を通じて、チームでの共有を支援するスキル。

• 学習指標を記録し進捗を確認したいとき
• 学習条件の違う実験を比較したいとき
• 学習設定を自動探索したいとき

LLMアプリの入出力や処理時間をLangSmithで記録し、不具合の調査、データセットによる回答評価、本番環境の監視や継続的な品質テストを支援するスキル。

• LLMアプリの不具合を調べたいとき
• テストデータで回答を評価したいとき
• 本番の応答時間や費用の監視

Agent PlatformでGemini APIを使う企業向けアプリの実装を案内します。Google Gen AI SDKによる認証から、文章・画像・音声の処理や一括実行まで扱います。

• 文書やメディアを理解する機能の追加
• 指定した形式のJSON生成
• 音声・映像を使うリアルタイム対話

長い文章や時系列を扱うモデルの実装に向け、Mambaの導入、学習済みモデルでの文章生成、Mamba-1とMamba-2の比較や速度検証を支援するスキル。

• 学習済みMambaで文章を生成したいとき
• Mamba-1とMamba-2の設定比較
• Transformersとの生成速度検証

LLMを8-bit・4-bitに量子化し、GPUメモリの使用量を抑えます。モデルの読み込みからQLoRAによる追加学習、学習時のメモリ節約まで支援します。

• 限られたGPUメモリでモデルを動かしたいとき
• 8-bitと4-bitの設定比較
• QLoRAで追加学習したいとき

機械学習モデルを本番サービスで動かすための設計・実装を支援します。学習や予測用データの整備から、モデル配信、性能比較、監視、再学習まで扱います。

• リアルタイム推薦サービスの設計
• A/Bテストでモデルを比較したいとき
• データの変化とモデル性能の監視

NVIDIA GPUで動かすLLMの推論と配信を、TensorRT-LLMで最適化するスキル。量子化、生成中の要求のまとめ処理、複数GPUへの分散を扱います。

• NVIDIA GPUでLLMを配信
• FP8やINT4の量子化を設定
• 大規模モデルを複数GPUに分散

LLMを用途に合わせて追加学習するために、LLaMA-Factoryの画面操作や省メモリ手法の利用、機能の確認、実装と不具合調査を支援するスキル。

• 画面操作でLLMの追加学習を試したいとき
• LoRAやQLoRAの設定を確認したいとき
• LLaMA-Factoryの不具合を調べたいとき

LLMアプリの処理の流れを記録して不具合を調べ、回答品質の評価やプロンプト・モデルの比較を進めます。Phoenixの導入から本番監視、自前での運用まで扱います。

• AIアプリの動作記録から原因を調べたいとき
• 質問セット全体の回答品質を評価したいとき
• プロンプトやモデルを実験で比較したいとき

LLMの応答をJSONや指定形式に整え、推論サーバーを構築するスキル。共通プロンプトの計算を再利用し、ツール呼び出しや複数ターンの会話を扱います。

• 指定形式のJSONで情報を抽出したいとき
• ツールを呼び出すエージェント開発
• 会話で共通プロンプトを再利用したいとき

処理の流れを図のようにつなぎ、状態を保持するAIエージェントの設計・実装を支援します。条件分岐やツール呼び出し、途中保存、人の確認を組み込めます。

• ツールを繰り返し使うエージェント開発
• 複数エージェントで調査結果を共有
• 依頼内容ごとに処理を分岐したいとき

PyTorchモデルの内部値を差し替え、出力への影響を調べる実験を支援するスキル。pyveneによる因果関係の検証から、介入の学習・保存・共有まで扱います。

• 出力に影響するモデル内部の特定
• 内部値を差し替えて仮説を検証したいとき
• 介入を学習して因果構造を調べたいとき

機械学習の学習条件・評価指標・成果物をMLflowで記録し、実験結果の比較からモデルの版管理、再現、本番環境への配置までを支援するスキル。

• 学習条件とモデル精度を比較したいとき
• 実験を再現する記録を残したいとき
• モデルの版と公開段階の管理

PyTorchモデルの内部で生じる数値を観察・変更し、出力への影響を調べる実験を支援します。nnsightを使い、小規模モデルのローカル実行からNDIFでの大規模モデル実験まで案内します。

• 各層の出力や注意パターンの観察
• 内部の値を置き換えて比較したいとき
• NDIFで大規模モデルを実験したいとき

機械学習の損失や精度をTensorBoardで可視化し、実験ごとの結果を比較するスキル。重みの分布やモデル構造、処理性能を調べ、学習中の問題を探ります。

• 学習ごとの損失や精度を比較したいとき
• 重みや勾配の分布を確認したいとき
• 埋め込みを2次元・3次元で眺めたいとき

画像と文章の意味の近さを使い、追加学習なしの画像分類や文章による画像検索を実装するスキル。類似度の計算、一括処理、ベクトルデータベースとの連携も扱います。

• 追加学習なしで画像を分類したいとき
• 文章で画像コレクションを検索
• 画像と説明文の一致度を比較

画像内の対象を点や四角い枠で指定し、領域を表すマスクの生成や背景を透明にした切り抜きを実装する手順を、SAMのモデル選びや自動処理とともに案内するスキル。

• 透明背景で物体を切り抜きたいとき
• 点や枠で領域を指定するツールの作成
• 物体のマスクを自動生成したいとき