sgl-project

SGLangのRust側でチャット入力を処理する実装を追加・検証し、Python側とプロンプト本文やトークンIDが一致するよう整えるスキル。

• sglang-processorへモデルを追加したいとき
• sgl-routerから描画処理を移したいとき
• Dynamo更新後の挙動を確認したいとき

CUDA/C++のGPU演算をsgl-kernelへ追加するために、事前コンパイルする実装からPyTorch登録、Python API公開、テスト、性能測定まで案内するスキル。

• CUDA/C++演算を追加したいとき
• PyTorch登録とPython API公開
• 計算結果と不正入力のテスト

SGLangの単体テストやサーバーを使うテストを作成し、モデル選択、ファイル配置、CI登録、終了時のリソース解放まで規約に沿って整えるスキル。

• CPUだけで動く単体テストを追加したいとき
• サーバー経由で新機能を検証したいとき
• 適切なCIスイートへテストを登録したいとき

sglangで入力処理時と逐次生成時のトークン確率を比較するテストを整え、数値計算と状態再利用のずれを切り分け、判定しきい値の設定や原因演算の特定を支援するスキル。

• モデルに確率の整合性テストを追加したいとき
• kl_divのしきい値に根拠を持たせたいとき
• 数値誤差とキャッシュ状態の不具合の切り分け

SGLangの画像生成処理にcache-ditを組み込み、更新や設定項目の追加を進めます。変更時の競合解消から、生成結果の画質比較、ログによる機能確認までを扱います。

• SGLangのcache-dit更新
• 更新元の変更を競合解消して移植
• リクエスト別キャッシュ設定の追加

ハイブリッドモデルの推論で使う状態メモリとKVキャッシュの配分を、起動ログや利用条件から計算します。同時処理数の上限を調べ、用途に合った比率や固定サイズを提案します。

• ハイブリッドモデルの配分設定
• 同時リクエスト数の制限調査
• 文脈長に合わせたメモリ再計算

SGLangの大規模クラスを改修・レビューする際に、初期化処理の分割や役割の切り分けを揃え、処理の集約による肥大化を防ぐためのコーディング規約です。

• SGLangの大規模クラスの変更レビュー
• 初期化を差し替え可能に分割したいとき
• ModelRunnerから計算処理を分離

ファイル分割や関数移動などのリファクタリングを元のコミットから再現し、バイト単位の差分で移動以外の変更を見つけ、検証用スクリプトとレポートを作るスキル。

• 整理作業を準備・移動・後処理に分けたいとき
• コード移動の再現用スクリプト作成
• ブランチ内の証明対象をすべて検証

SGLang Cookbookに新しいモデルの解説ページを追加します。検証済みの起動設定や実測値を整理し、ナビゲーションと一覧カードの更新、表示確認まで進めます。

• 新しく対応したモデルの解説追加
• ハードウェア別の起動設定の整理
• 速度と精度の実測結果の掲載

SGLangの環境変数を追加・改名・レビューするときに、定義場所や型、命名、読み出し方を統一し、旧名からの移行やテスト時の上書きまで案内するスキル。

• SGLangの環境変数を追加したいとき
• 非推奨の変数名を移行したいとき
• テスト中だけ設定を上書きしたいとき

既存のテストとCI設定を調べ、重複テストや配置の問題、実行時間や費用を見直す余地を探します。過去の改善パターンを手掛かりに、対象ファイルと具体的な対応案を示します。

• 遅いテスト群を調べたいとき
• 重複テストや配置の見直し
• CIの実行時間と費用の見直し

SGLangで継続的に失敗する自動テストを調べ、ログと変更履歴、GPUや実行環境の違いから原因を絞り込み、根拠付きの調査レポートにまとめるスキル。

• 継続するテスト失敗の原因を探したいとき
• GPUや実行マシンへの依存を調べたいとき
• リモートGPUサーバーで再現したいとき

SGLangでマージ済みの複数PRをリリースブランチへ取り込む準備を行い、競合や重複を確認してワークフローを起動し、PRごとの実行結果をまとめるスキル。

• 複数の修正PRをリリースへ取り込みたいとき
• ワークフロー実行前の競合確認
• 過去の取り込みPRとの重複確認

SGLangの起動ログを収集し、不要な重複や警告の発生源を調べます。必要な診断情報を残しながら、根拠となるログと改善案をまとめ、変更前に利用者の確認を求めます。

• 起動ログの重複を調べたいとき
• 残すべき警告を見極めたいとき
• モデルやGPU構成別のログ比較

SGLangのCUDAクラッシュを、実行前に残した入力データとログから調べます。配列の形状・型や数値の異常を追い、複数GPUでの障害調査も支援します。

• 不正なメモリアクセスの原因調査
• NaNやInfの発生箇所を追いたいとき
• CUDAクラッシュ前の入力保存

SGLangの障害や性能低下について、状態情報と失敗したリクエストを保存し、別の調査環境で再現します。得られた証拠から問題を分類し、次の調査手段を選びます。

• ヘルスチェック失敗や待ち行列増大の調査
• 特定リクエストの停止やクラッシュの再現
• デプロイ後の出力変化の調査

SGLangのCIで、テストの実行順序や開始条件、失敗時の停止、分割実行の仕組みを整理します。ワークフローの変更やジョブ追加、失敗原因の調査に使えるガイドです。

• CIの段階にテストジョブを追加
• CIの失敗やスキップを調べたいとき
• テスト分割数と待機条件の変更

SGLangサーバーを起動して簡易的な精度確認を行い、推論の実行記録を採取します。Perfettoなどで開けるファイルを生成し、保存先と内容を報告します。

• SGLang推論の実行記録の採取
• 計測前の基本的な精度確認
• 入力処理とトークン生成の分離計測

SGLang Cookbookのプルリクエストを点検し、モデル設定と説明文の食い違い、ベンチマークやリンクの問題をファイル別に報告するスキル。

• 新しいモデルの掲載PRをレビューしたいとき
• 説明文と生成コマンドを照合したいとき
• ベンチマークの測定条件を確認したいとき

SGLangのscripted runtimeで、テスト用APIを追加すべきか判断するための指針です。不要なラッパーを避け、実際の処理経路と結果を確かめるテスト設計を支えます。

• テスト用APIの追加を判断したいとき
• 状態参照用ラッパーの見直し
• 実際のループでタイムアウトを検証

SGLangの実行時設定や共有状態を変更するときに、値の参照先と更新方法を確認する設計ガイドです。起動時の入力と解決済み設定、処理単位の状態を区別して開発に役立てます。

• サーバー設定の参照と更新の見直し
• 共有状態と処理単位の状態の配置検討
• ワーカー内の設定公開順序の確認

新しい拡散モデルやDiffusersの生成処理をSGLangへ組み込むため、参照実装の確認から既存部品の再利用、設定と処理段階の実装までを支えるスキル。

• SGLangへの新しい拡散モデル追加
• Diffusersの生成処理を移植したいとき
• 既存部品を再利用したモデル派生版の追加

複数GPUで動かすSGLangが停止した際に、スタックや通信ログ、プロセスごとの状態を比較し、処理の食い違いが始まる地点と原因を絞り込むスキル。

• 複数GPUの推論が止まる箇所の調査
• 分散プロセスのログ比較
• 状態の食い違いが始まる地点の特定

SGLangのGPU計算処理を追加・移動するときに、APIやテストの配置、登録情報、参照先を整理し、既存の動作とCI設定を保つための確認を進めるスキル。

• 新しいGPU演算の配置を決めたいとき
• 既存の演算ファイルを分割・移動したいとき
• API登録とテスト配置のレビュー