Orchestra Research

画像と言語からロボットの動作を生成するOpenVLA-OFT系モデルを対象に、追加学習、シミュレーション評価、ALOHA実機への展開や不具合調査を支援します。

• LIBEROで学習済みモデルを評価
• LoRAでロボット動作モデルを追加学習
• ALOHA向け推論サーバーの展開

NVIDIA GPUで動かすLLMの推論と配信を、TensorRT-LLMで最適化するスキル。量子化、生成中の要求のまとめ処理、複数GPUへの分散を扱います。

• NVIDIA GPUでLLMを配信
• FP8やINT4の量子化を設定
• 大規模モデルを複数GPUに分散

調査・執筆・分析などを担うAIエージェントをCrewAIで組み合わせ、成果を引き継ぎながら作業する仕組みを構築。順次実行や管理役による分担、記憶の設定を案内します。

• 調査・執筆・編集の担当を連携
• 管理役による専門エージェントの分担
• 分析結果に応じた処理の分岐

画像と文章の意味の近さを使い、追加学習なしで画像の分類や自然文での検索を実装する手順を案内します。複数画像の一括処理や不適切な画像の分類も扱います。

• 追加学習なしで画像を分類したいとき
• 文章で画像コレクションを検索したいとき
• 画像と説明文の対応を比べたいとき

文章や画像の意味を数値で表す埋め込みを生成し、意味検索や類似度比較、文書のグループ分けに使うスキル。多言語モデルの選択やローカル実行も案内します。

• RAG用の文書埋め込みを作りたいとき
• 意味の近い文章を探したいとき
• 文書を話題ごとにまとめたいとき

研究テーマの候補を10種類の発想法で広げ、課題の重要性や実現可能性から絞り込みます。漠然とした関心を、検証の手掛かりがある具体的な研究案へ整理するスキルです。

• 新しい研究テーマを探したいとき
• 行き詰まった研究の切り口探し
• 思いついた研究案の評価

機械学習の設定・評価指標・モデルをまとめて記録し、実験結果の比較や再現を支援するスキル。モデルのバージョン管理から、ローカルやクラウドへの配備まで扱います。

• 実験の設定と評価結果を記録したいとき
• 実験ごとのモデル性能を比較したいとき
• 本番用モデルのバージョン管理

数学・コード生成・会話などに特化した複数の学習済みモデルを、再学習せずに統合するスキル。mergekitの設定、統合手法の選択、評価や配布まで案内します。

• 数学・コード生成・会話の能力を組み合わせたいとき
• 混合比率の異なるモデルを比較したいとき
• 複数モデルの統合手法を選びたいとき

画面上で処理の部品をつなぎ、継続的に動くAIエージェントを作るスキル。外部イベントや定時実行を使う複数段階の自動化と、実行状況の確認を案内します。

• 画面操作でAIの処理手順を作りたいとき
• 外部イベントでエージェントを起動したいとき
• 複数段階の作業を定期実行したいとき

文章の説明から音楽や効果音を生成するスキル。AudioCraftのMusicGen・AudioGenを使い、参考メロディーや曲調を反映した生成、音声保存を案内します。

• 文章から音楽を生成したいとき
• 効果音や環境音を作りたいとき
• 参考メロディーや曲調を反映したいとき

Chromaを使い、文章の意味に基づく検索や、検索した資料をAIの回答に使う仕組みを実装します。文書の保存・更新、属性による絞り込み、外部ライブラリ連携も扱います。

• 文章の意味で資料を検索したいとき
• AI回答に資料検索を組み込みたいとき
• 文書の属性で検索結果を絞りたいとき

大規模言語モデルの出力を手本に小型モデルを学習させる「知識蒸留」を支援します。学習方法の選択や設定調整、生成結果の比較を通じてモデルの軽量化を進めます。

• 大規模言語モデルを軽量化したいとき
• 教師の生成データで専門モデルを育てたいとき
• 蒸留方式や学習設定の比較

研究論文から、学会発表の時間に合うスライドと発表者ノートを作成します。BeamerのPDFと編集可能なPPTXを用意し、必要に応じて発表原稿もまとめます。

• 論文から口頭発表スライドを作りたいとき
• 短いspotlightやポスター発表の準備
• 時間配分付きのノートと発表原稿の作成

エージェント向け研究成果物の主張と証拠を6つの観点で読み解き、研究内容の妥当性を評価します。長所、重要度別の指摘、改善案をJSONにまとめるスキルです。

• 公開前のARAをレビューしたいとき
• 研究の主張と証拠の対応確認
• 実験方法と研究記録の点検

大量のデータから似たものを探す検索を、FAISSで実装するスキル。検索方式の選択からメモリ節約、GPU活用、索引の保存まで、速度と精度を考えて進めます。

• 大量データから類似候補を探したいとき
• 検索速度と精度に合う索引選び
• ベクトル検索のメモリ使用量削減

入力ごとに一部の専門ネットワークを使うMoEモデルの学習を支援。DeepSpeedなどで処理の振り分けや負荷分散、複数GPUへの配置を設定します。

• 一部の専門ネットワークを使うモデル設計
• 専門ネットワーク間の負荷分散
• 複数GPUへの分散配置

ロボットの動作を決めるOpenPIモデルを独自データで追加学習し、推論サーバーで使う手順を案内します。JAXとPyTorchでの学習やモデル変換も扱います。

• 独自のロボットデータで追加学習
• JAXの保存モデルをPyTorchへ変換
• ALOHA・DROID・LIBEROで推論

研究コードや実験結果をもとに、機械学習・AI分野の論文草稿を組み立てます。主張と根拠の整理、引用の実在確認、LaTeXでの投稿準備を支援します。

• 研究コードと結果から論文を起こしたいとき
• 貢献を軸に要旨や導入を改稿したいとき
• 関連研究の検索と引用確認を進めたいとき

AIへの入出力を定義して処理を組み合わせ、検索した資料を使う回答システムやエージェントを構築します。学習データと評価指標によるプロンプトの自動最適化も扱います。

• 資料を検索して答えるAIを作りたいとき
• 例と評価指標でプロンプトを改善したいとき
• AI処理を再利用できる部品に分けたいとき

画像内の対象を点や四角い枠で指定し、物体の領域を示すマスクを作る作業を支援します。背景を透明にした切り抜き、マスクの自動生成や学習用データ作成も扱うスキル。

• 背景を透明にして物体を切り抜く
• 点や枠で指定する領域ラベル付け
• 物体のマスクを自動生成したいとき

Qdrantを使い、文章の意味の近さと属性条件を組み合わせた検索を実装します。文書を検索して回答に使うRAGの構築から、メモリ節約や分散構成の検討まで支援します。

• AI回答用の文書検索を作りたいとき
• 類似検索をカテゴリや日時で絞りたいとき
• 大量のベクトルのメモリを節約したいとき

LLMの応答から必要な情報を取り出し、Pydanticで型や値を検証する実装を支援。抽出失敗時の自動再試行や、生成途中の結果を順次受け取る処理も扱います。

• 文章から連絡先や企業情報を抽出したいとき
• 記事を指定カテゴリに分類したいとき
• レビュー分析の出力を検証したいとき

機械学習の学習指標や設定をW&Bに記録し、実験結果を比較・可視化します。学習条件の自動探索、データやモデルの版管理、チームでの結果共有まで支援します。

• 学習指標の記録と可視化
• 学習条件を変えた実験の比較
• より良い学習条件を自動探索したいとき

AIエージェントのプロンプト・スキル・記憶を、評価課題の結果に基づいて反復改善するためのスキル。変更の検証や取り消し、Gitでの履歴管理も案内します。

• 既存エージェントの性能を改善したいとき
• 業務固有の評価課題を作りたいとき
• 失敗からスキルや記憶を改善したいとき