Daniel Avila

文章の説明から音楽や効果音を生成するスキル。AudioCraftのMusicGen・AudioGenを使い、参考メロディーや曲調を反映した生成、音声保存を案内します。

• 文章から音楽を生成したいとき
• 効果音や環境音を作りたいとき
• 参考メロディーや曲調を反映したいとき

大規模言語モデルを4ビットに圧縮し、GPUメモリの節約と推論の高速化を図るスキル。量子化の設定から既存モデルの読み込み、vLLMでの利用まで案内します。

• 限られたGPUメモリでモデルを動かしたいとき
• 専門分野の文章で量子化を調整したいとき
• vLLMでAWQモデルを配信したいとき

Agent PlatformでGemini APIを使う企業向けアプリの実装を案内します。Google Gen AI SDKによる認証から、文章・画像・音声の処理や一括実行まで扱います。

• 文書やメディアを理解する機能の追加
• 指定した形式のJSON生成
• 音声・映像を使うリアルタイム対話

ModalのクラウドGPUで機械学習の学習・推論・バッチ処理を動かすためのスキル。Pythonによる実行環境の定義からAPI公開、自動スケーリングまで案内します。

• サーバー管理なしでGPU推論を行いたいとき
• 自動スケーリングするモデルAPIの公開
• 大量データの並列バッチ処理

小さなGPTの学習と文章生成を通じて、言語モデルの仕組みを学ぶスキル。CPUでの実験から独自テキストでの学習、GPT-2の追加学習や複数GPUでの再現まで扱います。

• CPUでShakespeareを学習したいとき
• 独自テキストを学習データにしたいとき
• 学習済みGPT-2を追加学習したいとき

LLMの応答をJSONや指定形式に整え、推論サーバーを構築するスキル。共通プロンプトの計算を再利用し、ツール呼び出しや複数ターンの会話を扱います。

• 指定形式のJSONで情報を抽出したいとき
• ツールを呼び出すエージェント開発
• 会話で共通プロンプトを再利用したいとき

機械学習の損失や精度をTensorBoardで可視化し、実験ごとの結果を比較するスキル。重みの分布やモデル構造、処理性能を調べ、学習中の問題を探ります。

• 学習ごとの損失や精度を比較したいとき
• 重みや勾配の分布を確認したいとき
• 埋め込みを2次元・3次元で眺めたいとき

機械学習の学習・バッチ処理を複数クラウドで動かす設定を支援します。GPU要件に応じた低コスト環境の選択や、スポットインスタンスの中断からの自動復旧を扱います。

• GPU学習のクラウド費用を抑えたいとき
• 中断から復旧する長時間学習の設定
• 複数マシンでの分散学習の設定

LLMを用途に合わせて追加学習するために、LLaMA-Factoryの画面操作や省メモリ手法の利用、機能の確認、実装と不具合調査を支援するスキル。

• 画面操作でLLMの追加学習を試したいとき
• LoRAやQLoRAの設定を確認したいとき
• LLaMA-Factoryの不具合を調べたいとき

LLMアプリの処理履歴やコスト、応答速度をLangfuseで記録し、プロンプトの版管理や評価データを使った比較を通じて、不具合調査と改善を支援するスキル。

• LLMアプリの不具合を調べたいとき
• プロンプトの版と評価を比較したいとき
• LLMのコストと応答速度の監視

GPUメモリを抑えながらLLMを追加学習するためのスキル。LoRAやQLoRAの設定、学習対象の選択、用途別アダプターの保存・切り替え・統合まで案内します。

• 限られたGPUメモリでLLMを追加学習
• LoRAの設定と学習対象の層の選定
• 同じ元モデルで用途別アダプターを切り替え

OpenAI製品やAPIの使い方を公式ドキュメントで調べ、出典付きで案内するスキル。関連ページの検索と必要な箇所の取得を通じ、実装方法や機能の制限を確認します。

• Responses APIの実装方法を確認
• Codexの使い方を調べたいとき
• Apps SDKでのアプリ開発を調査

画像内の対象を点や四角い枠で指定し、領域を表すマスクの生成や背景を透明にした切り抜きを実装する手順を、SAMのモデル選びや自動処理とともに案内するスキル。

• 透明背景で物体を切り抜きたいとき
• 点や枠で領域を指定するツールの作成
• 物体のマスクを自動生成したいとき

LLMを用途に合わせて追加学習するため、Axolotlの設定作成や不具合調査を支援します。YAML設定、LoRA・QLoRA、複数GPUでの学習を扱います。

• 追加学習のYAML設定を作りたいとき
• LoRA・QLoRAの学習を検討したいとき
• 複数GPUでの学習設定

機械学習モデルを本番サービスで動かすための設計・実装を支援します。学習や予測用データの整備から、モデル配信、性能比較、監視、再学習まで扱います。

• リアルタイム推薦サービスの設計
• A/Bテストでモデルを比較したいとき
• データの変化とモデル性能の監視

大規模言語モデルの構造を学びながら、LitGPTで独自データによる追加学習や事前学習を進めるスキル。モデルの取得から学習設定、変換、APIでの提供まで案内します。

• コードを読みながらLLMの構造を学びたいとき
• 独自の指示データでモデルを追加学習したいとき
• 単一GPUでLoRA学習を設定したいとき

長い文章や時系列を扱うモデルの実装に向け、Mambaの導入、学習済みモデルでの文章生成、Mamba-1とMamba-2の比較や速度検証を支援するスキル。

• 学習済みMambaで文章を生成したいとき
• Mamba-1とMamba-2の設定比較
• Transformersとの生成速度検証

PyTorchモデルの内部で生じる数値を観察・変更し、出力への影響を調べる実験を支援します。nnsightを使い、小規模モデルのローカル実行からNDIFでの大規模モデル実験まで案内します。

• 各層の出力や注意パターンの観察
• 内部の値を置き換えて比較したいとき
• NDIFで大規模モデルを実験したいとき

画像について質問に答えるAIや、会話を続けながら画像の内容を読み解くチャットを、LLaVAの導入、モデル選択、実装例に沿って構築するスキル。

• 画像に答えるチャットの構築
• 画像の説明文やキャプション作成
• 追加質問で場面を読み解きたいとき

NVIDIA GPUで動かすLLMの推論と配信を、TensorRT-LLMで最適化するスキル。量子化、生成中の要求のまとめ処理、複数GPUへの分散を扱います。

• NVIDIA GPUでLLMを配信
• FP8やINT4の量子化を設定
• 大規模モデルを複数GPUに分散

Gemini CLIを呼び出し、複数ファイルのコードレビューや設計計画の点検、大量のコード・文書の分析を進めます。用途に応じたモデルと実行設定の選択も扱います。

• 複数ファイルの安全性と品質のレビュー
• 設計計画の不足を確認したいとき
• 大規模なコード全体の構成分析

LLMの知識・推論・コード生成などを60以上の共通評価課題で検証し、モデル間の性能比較や学習途中の変化の追跡、研究向けの結果整理を支援します。

• 知識・推論の共通課題でモデルを比較
• 学習途中のモデル性能を追跡したいとき
• 研究報告用に評価結果を整理したいとき

文章からの画像生成や既存画像の画風変更、指定部分の描き直しをPythonで実装するためのガイドです。構図を指定する方法や、メモリ使用量の調整も扱います。

• 文章から画像を生成したいとき
• 既存画像の画風を変えたいとき
• 画像の一部分を描き直したいとき

機能開発の前に調査とヒアリングで要件を整理し、GeminiとCodexのレビューを取り入れた実装計画を作成します。依存関係や完了条件を含む作業単位に分割します。

• 機能開発前に要件を詰めたいとき
• 複数のAIで実装計画を検討
• 開発作業を独立した単位に分割