データ・AIのスキル

Qdrantを使い、文章の意味の近さと属性条件を組み合わせた検索を実装します。文書を検索して回答に使うRAGの構築から、メモリ節約や分散構成の検討まで支援します。

• AI回答用の文書検索を作りたいとき
• 類似検索をカテゴリや日時で絞りたいとき
• 大量のベクトルのメモリを節約したいとき

画像と言語からロボットの動作を生成するOpenVLA-OFT系モデルを対象に、追加学習、シミュレーション評価、ALOHA実機への展開や不具合調査を支援します。

• LIBEROで学習済みモデルを評価
• LoRAでロボット動作モデルを追加学習
• ALOHA向け推論サーバーの展開

NVIDIA GPUで動かすLLMの推論と配信を、TensorRT-LLMで最適化するスキル。量子化、生成中の要求のまとめ処理、複数GPUへの分散を扱います。

• NVIDIA GPUでLLMを配信
• FP8やINT4の量子化を設定
• 大規模モデルを複数GPUに分散

LLMの応答から必要な情報を取り出し、Pydanticで型や値を検証する実装を支援。抽出失敗時の自動再試行や、生成途中の結果を順次受け取る処理も扱います。

• 文章から連絡先や企業情報を抽出したいとき
• 記事を指定カテゴリに分類したいとき
• レビュー分析の出力を検証したいとき

言語モデルの出力を正規表現や文法で制約し、JSONや日付などの形式を整えるほか、分類・情報抽出・複数段階の処理をPythonで組み立てるスキル。

• 決めた構造のJSONを生成したいとき
• 日付・メール・識別子の形式を指定
• 固定ラベルで文章を分類したいとき

機械学習の損失や精度をグラフで確認し、実験ごとの結果を比較するスキル。重みや勾配の分布、モデル構造、処理時間も可視化して学習の問題点を調べます。

• 学習中の損失や精度を確認したいとき
• 学習設定の異なる実験を比較したいとき
• 重みや勾配の分布を調べたいとき

LLMアプリの入出力や処理時間をLangSmithで記録し、不具合の調査、データセットによる回答評価、本番環境の監視や継続的な品質テストを支援するスキル。

• LLMアプリの不具合を調べたいとき
• テストデータで回答を評価したいとき
• 本番の応答時間や費用の監視

AIへの入出力を定義して処理を組み合わせ、検索した資料を使う回答システムやエージェントを構築します。学習データと評価指標によるプロンプトの自動最適化も扱います。

• 資料を検索して答えるAIを作りたいとき
• 例と評価指標でプロンプトを改善したいとき
• AI処理を再利用できる部品に分けたいとき

NVIDIA Cosmos Policyのロボット操作を、LIBEROやRoboCasaの仮想環境で評価します。GPU環境の準備から画面なしでの実行、結果確認まで案内するスキルです。

• LIBEROで小規模評価を試したいとき
• RoboCasaのキッチン操作評価
• 画面のないGPUクラスタでの環境構築

LLMの文章生成を速めるため、候補を先に作ってまとめて検証する手法を導入します。小型モデルの併用、Medusa、Lookahead Decodingの比較と設定を案内します。

• チャットの応答待ちを短くしたいとき
• コード生成の高速化
• 候補生成用の小型モデルの選定

AIエージェントのプロンプト・スキル・記憶を、評価課題の結果に基づいて反復改善するためのスキル。変更の検証や取り消し、Gitでの履歴管理も案内します。

• 既存エージェントの性能を改善したいとき
• 業務固有の評価課題を作りたいとき
• 失敗からスキルや記憶を改善したいとき

文書を検索して答えるチャットボットや、外部ツールを使うAIエージェントの実装を案内します。LangChainで会話履歴やモデル連携、実行状況の確認を扱います。

• 会話履歴を持つチャットボットの作成
• 参照元付きの文書質問応答
• 独自ツールを使うエージェントの作成

Chromaを使い、文章の意味に基づく検索や、検索した資料をAIの回答に使う仕組みを実装します。文書の保存・更新、属性による絞り込み、外部ライブラリ連携も扱います。

• 文章の意味で資料を検索したいとき
• AI回答に資料検索を組み込みたいとき
• 文書の属性で検索結果を絞りたいとき

画像について質問し、内容の説明や追加の対話を行うための導入・実装を案内します。写真の場面理解、画像内の物体の列挙、文書画像の内容確認に使えます。

• 画像に答えるチャットボットの開発
• 写真の詳しい説明を作りたいとき
• 同じ画像について質問を重ねたいとき

社内文書やWebページを取り込み、関連資料を検索して答えるAIアプリを作るスキル。LlamaIndexによる文書整理から質問応答・会話・回答評価まで案内します。

• 社内文書の質問応答を作りたいとき
• 会話の文脈を覚えるチャットの構築
• ファイル・Web・データベースの横断検索

長い文書を扱えるようにLLMの入力上限を広げるため、RoPEやYaRNなどの手法選びから位置情報の実装、追加学習、推論時のメモリ対策まで支援するスキル。

• 既存モデルを長文対応にしたいとき
• コンテキスト拡張手法の比較
• 文章中の位置情報の実装

画像内の対象を点や四角い枠で指定し、物体の領域を示すマスクを作る作業を支援します。背景を透明にした切り抜き、マスクの自動生成や学習用データ作成も扱うスキル。

• 背景を透明にして物体を切り抜く
• 点や枠で指定する領域ラベル付け
• 物体のマスクを自動生成したいとき

大規模言語モデルの一部だけを追加学習し、GPUメモリを抑えて用途別に調整するスキル。LoRA・QLoRAの設定から学習結果の保存・切り替えまで案内します。

• 限られたGPUメモリで追加学習したいとき
• 用途に合うLoRA設定を選びたいとき
• 同じモデルで用途別の学習結果を切り替えたいとき

PyTorchで報酬に基づく強化学習を進めるためのガイドです。torchforgeを使い、報酬や損失関数の実装から複数GPUでの分散学習まで支援します。

• GRPOで数学の推論を学習したいとき
• 独自の損失関数を試したいとき
• 複数GPUや複数ノードでの学習

機械学習向けの大量データを読み込み、前処理や一括推論を複数のCPU・GPUに分散するスキル。手元の端末からクラスタまで、処理規模に応じた構成を案内します。

• メモリに収まらないデータを前処理したいとき
• 複数GPUで一括推論したいとき
• 画像や表データを学習用に整えたいとき

言語モデルをGGUF形式に変換し、重みの精度を下げて軽量化する手順を案内。CPUやApple Siliconで動かす設定や、容量と品質に応じた圧縮方式の選択を支援します。

• GPUなしで言語モデルを動かしたいとき
• メモリ容量に合う圧縮方式の選択
• Apple SiliconのMetal設定

大規模言語モデルを人の好みに合わせて追加学習するために、PPO・GRPO・DPOなどの手法選びから、複数GPUでの分散学習設定やメモリ調整までを支援するスキル。

• 好みに合わせる学習手法を選びたいとき
• 複数GPUで分散学習したいとき
• 報酬モデルを学習してPPOを試したいとき

大規模モデルを複数のGPUで学習するために、DeepSpeedの実装や設定、問題調査を支援するスキル。メモリ最適化やストレージ入出力の調整も扱います。

• モデルの分散学習設定を見直したいとき
• NVMeとテンソル間の転送を調整したいとき
• MoEモデルの学習を設定したいとき

コード生成モデルの解答をテストで評価し、モデル間や言語間の性能を比較します。HumanEval などの課題選びから実行設定、結果の比較表作成までを案内します。

• 共通の課題でコード生成モデルを比較
• プログラミング言語別の性能評価
• 指示に応じるコード生成モデルの評価