111 件 ・ 関連度順
概要と使いどころ
Cross-engine decision rubric for self-hosting or recommending an LLM serving stack. Picks among vLLM, SGLang, TensorRT-LLM, TGI, llama.cpp, Ollama, and MLX as a function of (hardware × workload × constraint), not "which is fastest". Activates whenever a coder-agent must choose, defend, or migrate a serving runtime.
日本語の概要は準備中です。原文の説明を表示しています。
Operational skill hub for LLM system architecture, evaluation, deployment, and optimization (modern production standards). Links to specialized skills for prompts, RAG, agents, and safety. Integrates recent advances: PEFT/LoRA fine-tuning, hybrid RAG handoff (see dedicated skill), vLLM 24x throughput, multi-layered security (90%+ bypass for single-layer), automated drift detection (18-second response), and CI/CD-aligned evaluation.
日本語の概要は準備中です。原文の説明を表示しています。
Router for FunASR speech workflows: local transcription, subtitles, services, vLLM, normalization, and training/export.
日本語の概要は準備中です。原文の説明を表示しています。
Think and work like an expert Machine Learning Engineer. Use when a task calls for Machine Learning Engineer judgment. Reasons from decision-policy framing, Google's Rules of ML, point-in-time data, and prefill/decode inference physics through GBDT/PyTorch baselines, vLLM/SGLang/KServe serving with FP8/AWQ quantization, hybrid-retrieval RAG, RAGAS and human-validated LLM judges, OpenTelemetry GenAI tracing, and post-Omnibus EU AI Act obligations while treating train-serve skew, temporal leakage, prompt injection, LLM nondeterminism, and degenerate feedback loops as first-class failure modes.
日本語の概要は準備中です。原文の説明を表示しています。
Half-Quadratic Quantization for LLMs without calibration data. Use when quantizing models to 4/3/2-bit precision without needing calibration datasets, for fast quantization workflows, or when deploying with vLLM or HuggingFace Transformers.
日本語の概要は準備中です。原文の説明を表示しています。
Set up the Graphsignal Profiler for inference workloads — vLLM, SGLang, PyTorch, and dstack services. Use when the user wants GPU profiling, tracing, or monitoring for inference, asks about `graphsignal-run` or `graphsignal.watch()`, or asks about CUPTI / Prometheus / OTLP setup.
日本語の概要は準備中です。原文の説明を表示しています。
Optimize Ollama configuration for the current machine's hardware. Use when asked to speed up Ollama, tune local LLM performance, or pick models that fit available GPU/RAM. Don't use for LM Studio, llama.cpp, vLLM, or hosted-API LLM providers.
日本語の概要は準備中です。原文の説明を表示しています。
LLM serving for latency, batching, caching, quantization, and routing. Use when tuning vLLM or SGLang, sizing KV cache, adding speculative decoding, or cutting serving cost.
日本語の概要は準備中です。原文の説明を表示しています。
Analyze and tune a running llama.cpp server for local coding agents: propose config (ctx, prompt cache, MTP), benchmark before/after, report deltas. Use to optimize llama-server for Claude Code or Aider. Don't use for vLLM, ollama, or non-llama.cpp.
日本語の概要は準備中です。原文の説明を表示しています。
重采样：把已有多轮对话数据的每条 assistant 回答丢弃，用 verifier 模型/vLLM 服务逐轮重生成，产出可直接进训练的预分词样本（每行含 input_ids/loss_mask）。依赖支持 return_token_ids 的 OpenAI 兼容 chat 服务（服务需由用户提前就绪，本技能不负责拉起服务）。触发：用某模型对某个数据集做重采样/重生成（如“对这个数据集用这个模型做重采样”）、把对话回答用模型重写、生成预分词样本/on-policy/MTP 训练数据。
日本語の概要は準備中です。原文の説明を表示しています。
在 W8A8 动态量化后，用 MindIE-SD 冒烟测试 DiT 量化权重是否可加载（可选 skill）。与 `quant-tuning-evaluate`（DiT 扩展节）的区别：本 skill 仅做"能跑通 + 权重可用"的轻量验证（4~16 条 prompt，几分钟出结果），不算分；后者产出视频集交 `quant-tuning-score-dit`（AISBench-VBench 16 维度）评分，是调优回路一环。不引入 vLLM-Ascend、不做精度指标评估（FID/CLIP-score 等）。
日本語の概要は準備中です。原文の説明を表示しています。
Generate msmodelslim evaluation YAML configuration (service_oriented + aisbench + vllm-ascend). Use when user asks for evaluation config generation.
日本語の概要は準備中です。原文の説明を表示しています。
对 msMemScope 显存数据做全链路处理：根据用户的显存问题诉求（OOM、显存泄漏、显存占比拆解、Step 间对比等），指导并帮助用户以最合适的 msMemScope 采集配置完成显存数据采集（支持命令行、Python 接口、mstx 打点三种采集方式，覆盖训练、推理 vLLM-Ascend、FSDP、强化学习 verl 等场景）；对已采集的 memscope_dump_*.csv/db 数据做系统性解读与问题诊断（整体显存曲线趋势分析、显存使用大头按模块/组件拆解分析、显存峰值点各模块与流程占比分析，以及对显存泄漏、OOM 等典型问题的根因定位与原因分析）。
日本語の概要は準備中です。原文の説明を表示しています。
Use when diagnosing NPU + PyTorch or LLM Serving Host CPU affinity, NUMA locality, cgroup/cpuset constraints, CPU range conflicts, PyTorch/runtime threading, DataLoader, tokenizer, scheduler, vLLM-Ascend, SGLang, TTFT, TPOT, tokens/s, QPS, or multi-rank/multi-worker CPU binding issues.
日本語の概要は準備中です。原文の説明を表示しています。
当首次使用 msmodeling optix 的用户需要根据硬件、模型、负载和优化目标推荐 MindIE/vLLM 寻优参数、搜索范围、benchmark 侧字段或 config.toml 片段时使用。
日本語の概要は準備中です。原文の説明を表示しています。
RL 强化学习训练与推理（rollout）路径的算子差异性扫描。当用户提供训练启动脚本路径，要求对比 Megatron 训练路径与 vLLM 推理路径的算子差异（尤其是融合算子 vs 单算子不一致）时使用此 skill。典型触发词包括"训推算子扫描"、"训推差异性"、"算子差异报告"、"融合算子对比"、"train vs infer op diff"。注意：本 skill 通过运行完整 RL 训练脚本（集成 profiling）来采集真实运行时算子（非静态源码扫描，非独立分离运行）。当训练、推理使用不同脚本时禁止触发。
日本語の概要は準備中です。原文の説明を表示しています。
DB格式Profiling数据场景化性能拆解：自动完成场景确认（框架/任务类型判定）、阶段拆解与单次执行边界拆解，并给出报告。Use when 需要对昇腾 Profiling DB 做阶段拆解、step 归因或生成性能报告, or when the user says "帮我按任务阶段拆解这个Profiling数据", "多层次性能耗时拆解", "分析这个 vllm/sglang/verl 数据，主要耗时都花费在哪里了"。
日本語の概要は準備中です。原文の説明を表示しています。
Use when installing Anthropic's Claude Science on a geo-blocked machine (e.g. China) or running it without a Claude account. Downloads the binary from the unblocked downloads.claude.ai CDN, sets up the claude-science-api-bridge local proxy to route requests to ANY OpenAI- or Anthropic-compatible API (Volcengine, DeepSeek, Kimi, Zhipu, OpenAI, local Ollama/vLLM), and applies a no-login patch so no Claude Pro/Max subscription is required.
日本語の概要は準備中です。原文の説明を表示しています。
Generates and updates secure, production-ready Kubernetes YAML manifests optimized for GKE Autopilot and GKE Standard clusters. Use when creating or modifying GKE deployment manifests, configuring container security contexts, setting CPU/memory resource limits, defining readiness/liveness/startup probes, mounting secrets and volumes, configuring GKE Gateway API routes, targeting Spot VMs, or deploying AI model inference workloads (vLLM, TGI, Gemma). Don't use for live cluster operations, pod troubleshooting (use gke-workload-troubleshooting), or cluster infrastructure provisioning (use gke-cluster-creation).
日本語の概要は準備中です。原文の説明を表示しています。
Set up and run local LLMs with Harbor. Use when the user wants to run models locally, install Harbor, start Open WebUI, llama.cpp, Ollama, vLLM, Docker Model Runner, MLX, or oMLX, pull GGUF or HuggingFace models, add SearXNG web search, Speaches TTS/STT, or Open Terminal code execution, launch Codex/Claude/Grok/OpenCode against a Harbor backend, or troubleshoot GPU, VRAM, and service startup.
日本語の概要は準備中です。原文の説明を表示しています。
Iterate on a GenAI notebook against the self-hosted stack via the genai-stack CLI (config dirs, auth, subdomains, quantization, GPU/VRAM). Arguments: <notebook|service> [--service comfyui|forge|vllm] [--quant int4|fp8] [--validate] [--bg]
日本語の概要は準備中です。原文の説明を表示しています。
三方框架特性落地（原 framework-feature-enablement ＋ framework-extension-dev 合并）： 一个入口信号「框架侧特性没落地」，内部分两分支——**分支 A 框架已有 → 使能与验证** （计数契约 + 三层证据 + 使能异常回修）；**分支 B 框架缺失 → 补齐开发** （注入点 + 代码组织/注册机制 + 合入姿势：平台注册优先 / 上游 PR / fork 钉版 / monkey 备选）。 分支 A 触发词：量化/稀疏/缓存开关没生效、融合算子没命中、使能异常或精度不符、 "起 vllm 服务""模型在框架里跑不通""把 mindiesd 接到其他框架"。 分支 B 触发词：框架没 comm-stream 掩盖、框架没缓存消费者、框架不支持某 collective/mask、 feature_* NotImplemented、要给框架补一条结构性能力。 near-miss：纯安装/权重 → env-install；纯采集/分析 → profiling-collect / profiling-analyze； 纯选档（该不该开量化、开哪一档）→ dit-perf-opt； mindiesd 仓内 pattern / 算子 / 图下发开发 → dev-workflow + pattern-dev / operator-dev / aclgraph-dev。 由 model-auto-optimization 的 S1（融合接入）/S4（有损使能）/S5（训练感知）与 §0 缺口补齐策略路由， 亦由 dev-workflow 的框架接入/验证场景指引加载。
日本語の概要は準備中です。原文の説明を表示しています。
Operational skill hub for LLM system architecture, evaluation, deployment, and optimization (modern production standards). Links to specialized skills for prompts, RAG, agents, and safety. Integrates recent advances: PEFT/LoRA fine-tuning, hybrid RAG handoff (see dedicated skill), vLLM 24x throughput, multi-layered security (90%+ bypass for single-layer), automated drift detection (18-second response), and CI/CD-aligned evaluation.
日本語の概要は準備中です。原文の説明を表示しています。
Modelo de moderação especializado 7-8B do Meta para filtragem de entrada/saída de LLM. 6 categorias de segurança - violência/ódio, conteúdo sexual, armas, substâncias, automutilação, planejamento criminal. Precisão de 94-95%. Deploy com vLLM, HuggingFace, Sagemaker. Integra com NeMo Guardrails.
日本語の概要は準備中です。原文の説明を表示しています。