データ・AIのスキル

BOP形式のデータセットを整え、奥行き推定・領域分割・物体の位置と向きの推定を実行し、既存結果の再採点や精度比較まで行うスキル。

• BOPデータを変換して1シーン試したいとき
• 正解データなしで物体姿勢を推定したいとき
• 元のレポートを残して再採点したいとき

人がロボットを遠隔操作した手本を、動作・状態・カメラ映像とともにHDF5へ記録するスキルです。対応する入力機器の確認から、保存内容とタスク成功の検証まで案内します。

• キーボード操作の実演を記録したいとき
• 対応するリーダー機器やVRでの実演記録
• 保存した操作データとカメラ観測の確認

HDF5形式の成功した操作記録を複製し、操作値に小さな揺らぎを加えてデータを増やします。指定した処理区間だけの変更や、生成件数・区間情報の保持確認にも対応します。

• 成功した操作記録の派生データ作成
• 特定ノードの操作だけを変えたいとき
• 生成件数と区間情報の保持確認

ロボットの作業を記録したHDF5を、学習やブラウザでの確認に使うLeRobot形式へ変換します。動作・状態・カメラ映像を引き継ぎ、件数や出力ファイルを確認します。

• 成功した作業記録を学習用に変換
• ブラウザで確認するデータの準備
• 変換後の動画やデータ項目の確認

Earth2Studioに、風速などの算出や学習済み・拡散モデルによる単一時点のデータ変換を組み込み、テストと関連ドキュメントまで整えるスキル。

• 風の成分から風速を算出したいとき
• 学習済みの降水量推定モデルの追加
• 拡散モデルで解像度を上げたいとき

HDF5に記録した動作を元のワークフローのSceneで再生し、シミュレーター上の軌跡やカメラ映像、区間の切り替わりを目視で確認する作業を支援します。

• 記録した動作の軌跡を目視確認したいとき
• HDF5の特定エピソードの再生
• カメラ映像と区間の境界の確認

予測期間や地域、GPUの条件に合わせて気象モデルと入力データを選び、Earth2Studioで単一の気象予測を実行・保存するPythonスクリプトを作成します。

• 5日先までの気象予測を試したいとき
• 気温や風の変数だけを保存したいとき
• GPUメモリに合うモデル選び

カメラ画像を含むHDF5形式のワークフロー記録を、文章で指定した成功条件に照らして視覚モデルで判定し、各エピソードの成否集計や成功データの抽出を行います。

• 文章の成功条件で記録を判定したいとき
• 成功エピソードだけを抽出したいとき
• 送信前にカメラ画像を確認したいとき

気象・気候の用途に合うEarth2Studioのモデル、データソース、実例を探し、対象地域や予測期間、GPUメモリの条件と入力変数の互換性を確認するスキル。

• 地域と予測期間に合う気象モデル選び
• GPUメモリに合うモデルの比較
• モデルとデータの入力変数の互換性確認

変換済みのLeRobotデータセットをブラウザで開き、各カメラの動画や状態・動作の時系列、エピソード数を確認して、ローカルサーバーの停止方法まで報告します。

• 最新の変換済みデータを確認したいとき
• 全カメラの動画再生を確認したいとき
• 状態と動作の時系列の確認

Isaac for Healthcareで、ロボットの動作記録からデータ整備、行動モデルの学習、保存済みモデルの検証までを一括実行し、各段階の成果物を確認します。

• 記録からモデル検証まで一括実行したいとき
• 実行前に工程と成果物の場所を確認したいとき
• データセットや学習結果を点検したいとき

指定した気象変数と日時に合うEarth2Studioのデータ取得元を選び、変数の対応状況を確認して、解析・再解析や予報データを取得するPythonスクリプトを作成します。

• 指定日のERA5気温を取得したいとき
• 予報時間を指定して取得したいとき
• 収録範囲や解像度で取得元を比較

外部ストレージの気象データをEarth2Studioにつなぐ取得用コードを新規作成し、変数名の対応付けからテスト、実データでの検証までを進めるスキル。

• Earth2Studioに取得元を追加したいとき
• 格子予報や観測地点データへの対応
• 取得元とEarth2Studioの変数名対応付け

LeRobot形式のデータでGR00Tやopenpiを追加学習し、データの適合性確認から設定の試行、学習済みファイルの読み込み確認まで進めるスキル。

• LeRobotデータで追加学習したいとき
• 学習前にデータの適合性を確認したいとき
• 学習条件を指定して実行したいとき

医療用語の音声認識評価を始める前に、APIキーとPython環境を確認し、合成した例文の読み上げと文字起こしでNVIDIAの音声サービスへの接続を検証します。

• 医療用語の音声認識評価の準備
• 新しい環境からのAPI接続確認
• 読み上げと文字起こしの一連テスト

タンパク質の類似配列をMSA-Searchで集め、配列を対応づけた情報とともにOpenFold3へ渡して立体構造を予測します。構造ファイルと信頼度指標を保存するスキルです。

• 類似配列を使ってタンパク質構造を予測したいとき
• 配列の対応情報と構造・信頼度を保存したいとき
• MSAの有無で予測結果を比較したいとき

画像・動画の推論、物体検出、追跡に使うDeepStreamの処理パイプラインを対話形式で組み立てます。入力や出力先に合わせて実行コマンドを生成し、構文や要素を検証します。

• ローカル画像や動画で推論したいとき
• 複数RTSP映像の物体検出と追跡
• 処理結果をMP4に保存したいとき

医療用語の音声認識を評価するため、用語選定から発音確認、合成音声とNeMo形式のデータ一覧作成まで進めるスキルです。声や雑音、文脈を変えた評価用データを用意します。

• 診療分野別の音声認識評価セット作成
• 薬剤名や処置名の合成音声の発音確認
• 声・雑音・文脈を変えた評価音声の生成

生産計画や在庫管理などの文章を、固定条件・制約・決定事項・目的に整理し、線形計画や整数計画、二次計画の数式モデルへ落とし込む考え方を案内します。

• 能力と費用を踏まえた生産計画の定式化
• 仕入れ・販売をまたぐ在庫制約の整理
• 複数目標を優先順位順に扱いたいとき

タンパク質に小分子が結合する位置や向きをDiffDockで予測し、入力データの準備からAPI実行、信頼度付き候補の保存・確認までを案内します。

• タンパク質と小分子の結合姿勢予測
• SMILESやSDFを入力したいとき
• 信頼度付き候補を保存したいとき

アミノ酸配列から単一のタンパク質鎖の立体構造を予測する作業を支援します。NVIDIA APIやローカルDockerでの実行、配列比較データや構造テンプレートの指定、結果保存を案内します。

• 配列から単一タンパク質鎖の構造予測
• A3MやmmCIFを加えて予測したいとき
• 複数のモデル設定で予測を比較したいとき

工場の作業映像から手順の抜けや順序違いを検出するサービスの構築・運用を支援します。DeepStreamによる映像処理とVLMによる動作分類の評価、遅延測定も扱います。

• 組立作業の手順確認サービスを作りたいとき
• 動画や産業用カメラで動作検証したいとき
• 動作分類や手順判定の不具合を調べたいとき

バックグラウンドで動くKERMTの学習状況を、実行記録とDockerの状態、ログから確認します。進捗や検証指標、完了後のテスト結果をまとめるスキルです。

• バックグラウンドの事前学習を確認
• ログと検証指標を継続監視
• 追加学習後のテスト指標を確認

医療画像形式のDICOMファイルを1件読み込み、撮影情報などのメタデータをJSONに抽出します。一部の標準タグに個人情報が含まれるかも確認します。

• DICOMのメタデータを確認したいとき
• 検査・画像情報のJSON出力
• 標準タグ内の個人情報を確認したいとき