Orchestra Research

機械学習論文の本文や実験データから、構成図や比較グラフを作成します。図の種類選び、配色・文字サイズの調整、投稿用の画像出力まで支援するスキル。

• 手法の説明を構成図にしたいとき
• 実験結果の比較グラフ作成
• 学習中の損失や精度の可視化

大規模言語モデルの出力を手本に小型モデルを学習させる「知識蒸留」を支援します。学習方法の選択や設定調整、生成結果の比較を通じてモデルの軽量化を進めます。

• 大規模言語モデルを軽量化したいとき
• 教師の生成データで専門モデルを育てたいとき
• 蒸留方式や学習設定の比較

機械学習の学習設定や精度、画像・音声などをSwanLabに記録し、実験結果を比較する手順を案内。ローカルや自前サーバーでの可視化、学習コードへの組み込みも支援します。

• 学習条件を変えた実験の比較
• 学習指標をローカルで確認したいとき
• 画像や音声を指標と一緒に記録

AIエージェントのプロンプト・スキル・記憶を、評価課題の結果に基づいて反復改善するためのスキル。変更の検証や取り消し、Gitでの履歴管理も案内します。

• 既存エージェントの性能を改善したいとき
• 業務固有の評価課題を作りたいとき
• 失敗からスキルや記憶を改善したいとき

ローカルの言語モデルなどの出力形式をOutlinesで制御し、指定した項目や型に沿うJSONの生成、文章からの情報抽出、選択肢による分類を支援するスキル。

• 会社情報やプロフィールのJSON抽出
• 決まったラベルで文章を分類したいとき
• 指定した書式に沿う文字列の生成

研究テーマの候補を10種類の発想法で広げ、課題の重要性や実現可能性から絞り込みます。漠然とした関心を、検証の手掛かりがある具体的な研究案へ整理するスキルです。

• 新しい研究テーマを探したいとき
• 行き詰まった研究の切り口探し
• 思いついた研究案の評価

大量のデータから似たものを探す検索を、FAISSで実装するスキル。検索方式の選択からメモリ節約、GPU活用、索引の保存まで、速度と精度を考えて進めます。

• 大量データから類似候補を探したいとき
• 検索速度と精度に合う索引選び
• ベクトル検索のメモリ使用量削減

入力ごとに一部の専門ネットワークを使うMoEモデルの学習を支援。DeepSpeedなどで処理の振り分けや負荷分散、複数GPUへの配置を設定します。

• 一部の専門ネットワークを使うモデル設計
• 専門ネットワーク間の負荷分散
• 複数GPUへの分散配置

NVIDIA GPUで動かすLLMの推論と配信を、TensorRT-LLMで最適化するスキル。量子化、生成中の要求のまとめ処理、複数GPUへの分散を扱います。

• NVIDIA GPUでLLMを配信
• FP8やINT4の量子化を設定
• 大規模モデルを複数GPUに分散

AIが参照する文書や推薦用データをPineconeで管理し、意味やキーワードで検索する仕組みを作るスキル。データ登録から条件付き検索、利用者別の分離まで扱います。

• AIの回答用に文書を検索したいとき
• 意味とキーワードで検索したいとき
• 利用者別に検索データを分けたいとき

システム分野の国際会議向け論文を、章ごとのページ配分と段落構成から組み立てます。設計の選択理由や評価実験の示し方、投稿前の点検も支援します。

• 論文の章構成とページ配分を決めたいとき
• 設計の選択理由と代替案を整理したいとき
• 評価実験と結果の説明を組み立てたいとき

言語モデルの出力を正規表現や文法で制約し、JSONや日付などの形式を整えるほか、分類・情報抽出・複数段階の処理をPythonで組み立てるスキル。

• 決めた構造のJSONを生成したいとき
• 日付・メール・識別子の形式を指定
• 固定ラベルで文章を分類したいとき

LLMアプリの入出力や処理時間をLangSmithで記録し、不具合の調査、データセットによる回答評価、本番環境の監視や継続的な品質テストを支援するスキル。

• LLMアプリの不具合を調べたいとき
• テストデータで回答を評価したいとき
• 本番の応答時間や費用の監視

画像内の対象を点や四角い枠で指定し、物体の領域を示すマスクを作る作業を支援します。背景を透明にした切り抜き、マスクの自動生成や学習用データ作成も扱うスキル。

• 背景を透明にして物体を切り抜く
• 点や枠で指定する領域ラベル付け
• 物体のマスクを自動生成したいとき

画面上で処理の部品をつなぎ、継続的に動くAIエージェントを作るスキル。外部イベントや定時実行を使う複数段階の自動化と、実行状況の確認を案内します。

• 画面操作でAIの処理手順を作りたいとき
• 外部イベントでエージェントを起動したいとき
• 複数段階の作業を定期実行したいとき

論文やコード、実験ログを、AIエージェントが参照できる構造化された研究資料へ整理します。主張と根拠、検証計画、実装のひな型、研究上の判断のつながりをまとめます。

• 論文とコードを研究資料へ整理したいとき
• 研究上の主張と表・図・検証計画の対応付け
• 失敗した試みや研究上の判断の記録

LLMの回答をJSONや指定の書式で生成し、共通プロンプトの計算を再利用する仕組みを使って、ツール呼び出しや継続会話の推論サーバー構築を支援するスキル。

• 記事の情報をJSONで抽出したいとき
• ツールを呼ぶエージェントの開発
• 会話間で共通プロンプトを再利用

長い文書を扱えるようにLLMの入力上限を広げるため、RoPEやYaRNなどの手法選びから位置情報の実装、追加学習、推論時のメモリ対策まで支援するスキル。

• 既存モデルを長文対応にしたいとき
• コンテキスト拡張手法の比較
• 文章中の位置情報の実装

文章からの画像生成や既存画像の画風変更、指定部分の描き直しをPythonで実装するためのガイドです。構図を指定する方法や、メモリ使用量の調整も扱います。

• 文章から画像を生成したいとき
• 既存画像の画風を変えたいとき
• 画像の一部分を描き直したいとき

文書を検索して答えるチャットボットや、外部ツールを使うAIエージェントの実装を案内します。LangChainで会話履歴やモデル連携、実行状況の確認を扱います。

• 会話履歴を持つチャットボットの作成
• 参照元付きの文書質問応答
• 独自ツールを使うエージェントの作成

LLMの重みを間引くプルーニングで、モデルの軽量化を検討する手順を案内します。WandaやSparseGPTの適用、精度の比較、対応GPUでの高速化を扱います。

• 再学習なしでモデル圧縮を試したいとき
• 間引き前後の精度比較
• WandaとSparseGPTの選択

社内文書やWebページを取り込み、関連資料を検索して答えるAIアプリを作るスキル。LlamaIndexによる文書整理から質問応答・会話・回答評価まで案内します。

• 社内文書の質問応答を作りたいとき
• 会話の文脈を覚えるチャットの構築
• ファイル・Web・データベースの横断検索

画像の説明文生成、画像への質問応答、文章からの画像検索をBLIP-2で実装するスキル。モデル選びから一括処理、メモリ使用量の調整まで案内します。

• 複数画像の説明文を生成したいとき
• 画像への質問応答を実装したいとき
• 文章から画像を検索したいとき

LLMの文章生成を速めるため、候補を先に作ってまとめて検証する手法を導入します。小型モデルの併用、Medusa、Lookahead Decodingの比較と設定を案内します。

• チャットの応答待ちを短くしたいとき
• コード生成の高速化
• 候補生成用の小型モデルの選定