データ・AIのスキル

LLMの出力をJSONや正規表現、Pydanticの型定義に合わせて生成するスキル。文章からの情報抽出や分類結果を、後続の処理で扱いやすい形式に整えます。

• 文章から企業・商品情報を抽出したいとき
• レビューを決まったラベルで分類したいとき
• プロフィールを項目別に整理したいとき

質問応答や文書検索を組み合わせたAI処理をDSPyで構築するスキル。入力と出力を定義して部品を組み合わせ、学習例と評価指標を使ってプロンプトを自動調整します。

• 文書検索付きの質問応答を作りたいとき
• 学習例でプロンプトを調整したいとき
• 文章から構造化データを抽出したいとき

大規模言語モデルをAPIとして動かすために、vLLMの導入と設定を支援するスキル。大量データの一括生成やGPUメモリの節約、応答速度の調整も扱います。

• OpenAI互換APIを公開したいとき
• 大量のプロンプトを一括処理したいとき
• 限られたGPUメモリで動かしたいとき

手元の環境で動く言語モデルをHugging Face Hubから探し、メモリに合うGGUF形式のモデル選びと、llama.cppの起動コマンド作成を支援します。

• メモリに合うローカルモデルを探したいとき
• GGUFの種類と容量の比較
• ローカルチャットサーバーの起動準備

画像内の対象を点や四角い枠で指定し、切り抜き用の領域を取り出すスキル。SAMによる自動抽出、領域の修正、学習データ作成や組み込みに向けた手順を案内します。

• 対象を透明背景で切り抜きたいとき
• 画像の領域指定ツールを作りたいとき
• 画像認識の学習データ作成

Axolotlで大規模言語モデルを追加学習するため、YAML設定やデータ形式、学習手法の使い方を案内します。複数GPUの設定や不具合の調査にも使えます。

• 追加学習用のYAML設定を作りたいとき
• LoRAやQLoRAの学習方法の確認
• データ形式とAPIの使い方の確認

Hugging Face Hubのモデルやデータセットを探し、取得・アップロードするスキル。hfコマンドでリポジトリ、実行環境、キャッシュの管理も扱います。

• モデルやデータセットを探して取得したいとき
• ローカルのファイルをHubへ送信したいとき
• リポジトリ作成やブランチ・タグの管理

言語モデルを少ないメモリで追加学習するために、Unslothの使い方やAPIを調べ、LoRA・QLoRAによる実装やコードの不具合調査を支援するスキル。

• LoRA・QLoRAの追加学習を始めたいとき
• Unslothの機能やAPIを調べたいとき
• 学習コードのエラーを調査したいとき

言語モデルに指示への応答や好ましい回答を学習させるため、TRLによる追加学習を案内するスキル。データ準備、学習方式の選択、報酬モデルの学習や評価を扱います。

• 回答例で指示に従うモデルを学習
• 回答の好みをDPOで学習したいとき
• 報酬モデルを使うRLHFの構築

PyTorchで大規模言語モデルを事前学習するために、複数GPUへの処理分割や学習設定を支援します。単一ノードから複数ノードでの実行、学習の保存・再開も扱います。

• 単一ノードでLlama 3.1 8Bを事前学習
• SLURMで複数ノードの学習を実行したいとき
• H100向けのFloat8学習を設定したいとき

機械学習の実験設定や精度をW&Bに記録し、学習状況の可視化と実験間の比較を支援します。学習条件の自動探索や、モデル・データの版管理にも使えます。

• 学習実験ごとの精度を比較したいとき
• 学習状況をダッシュボードで確認
• よりよい学習条件を探索したいとき

大規模言語モデルの知識・推論・コード生成を共通の課題で評価するスキル。複数モデルの比較表や学習途中の成績推移を作り、評価結果と個別の回答を保存します。

• MMLU・GSM8Kでのモデル評価
• 複数モデルの比較表作成
• 学習途中のモデルの成績追跡

静的ページやJavaScriptで表示されるページから必要な情報を抽出し、複数ページの巡回やCloudflare対策を含む取得方法の使い分けを支援します。

• 静的ページの文章やリンク抽出
• JavaScriptで表示される情報の収集
• 複数ページを巡回してデータ保存

NVIDIA GPU上で大規模言語モデルの応答生成を高速化し、APIとして提供する設定を支援します。量子化や一括処理、複数GPUへの分散も扱います。

• 言語モデルをチャットAPIで提供したいとき
• 多数のプロンプトを一括処理したいとき
• 量子化でメモリ使用量を抑えたいとき

プロンプト、正規表現、SQL、小さなコードを、採点基準に沿って繰り返し改良します。AIが候補を作り、失敗例を手がかりによりよい案を探すスキルです。

• 正解例に沿ってプロンプトを改善したいとき
• 合格率で正規表現を調整したいとき
• テストでSQLやコードを改善したいとき

エージェントの過去の会話や資料をPineconeに保存し、関連情報を検索して回答に使う仕組みを構築。セッションをまたぐ長期記憶や、意味に基づく検索の試作を支援します。

• セッションをまたぐ記憶を作りたいとき
• 検索した情報を回答に使いたいとき
• ユーザー別に記憶を管理したいとき

重みが公開されたLLMの回答拒否に関わる仕組みを分析し、再学習なしで重みを変更する実験を支援。計算環境に合うモデルや手法の選択、変更前後の品質評価まで扱います。

• LLMの回答拒否の仕組みを調べたいとき
• 再学習せず重み変更を実験したいとき
• 計算環境に合うモデルと手法を選びたいとき

言語モデル内部の反応を少数の特徴に分解し、学習した概念を調べます。学習済みSAEの分析、自作SAEの訓練、特徴を使った出力調整と品質評価を案内します。

• 学習済みSAEで特徴を調べたいとき
• 特定のモデル層にSAEを訓練する
• 入力文ごとの特徴の反応を比較する

画像・動画の生成やAI検索など、150以上のクラウドAIアプリを共通のコマンドで探して実行します。ローカルの画像や音声を使う加工・生成にも対応します。

• 文章から画像を生成したいとき
• 手元の画像を動画にしたいとき
• 写真と音声でアバター動画を作りたいとき

文章などを数値化して似た内容を探す検索をQdrantで実装。属性による絞り込みやAI回答用の資料検索から、大規模運用の設定・調整まで支援します。

• AI回答用の参考資料を検索したいとき
• カテゴリや日時で絞る類似検索
• リアルタイム推薦の実装

大規模言語モデルを、回答への評価を使う強化学習で追加訓練する手順を案内します。Megatron-LMとSGLangを組み合わせ、データ準備や並列実行、独自の生成処理を扱います。

• 言語モデルのGRPO訓練を始めたいとき
• 回答生成と訓練を並行実行したいとき
• ツールを使うエージェントの訓練

大量のベクトルから似たデータを探す検索を実装するスキル。FAISSの索引選びや保存、GPU利用を案内し、検索速度・精度・メモリ使用量の調整を支援します。

• 大量ベクトルの類似検索を実装したいとき
• 速度・精度・メモリに合う索引の選択
• GPUでの一括検索

画像の内容を質問したり、説明文を作ったりするために、LLaVAの導入と利用を支援します。画像を見ながら続ける対話や、画像付き文書の理解にも使えるスキルです。

• 写真の説明文を作りたいとき
• 画像内の物や場面について質問したいとき
• 画像について話せるチャットの試作

長い入力を扱うTransformerの学習・推論で、注意機構の計算を高速化し、GPUメモリ使用量を抑えるスキル。導入から性能測定、出力の比較まで案内します。

• 長い入力での学習を高速化したいとき
• 長文推論のメモリ使用量を抑えたいとき
• 処理速度とモデル出力の比較