「vllm」の検索結果

Neutral, framework-agnostic decision tree for project kickoff: "which agent / RAG / LLM framework should I reach for?" Synthesizes the ecosystem sections of 7 landmark-project SOPs (LangGraph, LlamaIndex, DSPy, CrewAI, vLLM, Aider, Dify) into one layered rubric. Core stance: frameworks are LAYERS, not competitors — a real project usually combines DSPy (compile) + LlamaIndex (retrieve) + LangGraph (orchestrate) + vLLM (serve), and you choose ONE per layer, not one to rule all. Use when starting any LLM/agent/RAG project, or whenever the "which framework?" question is asked. Deliberately neutral — unlike vendor docs and the LangChain-biased `framework-selection` on skill.sh, this skill has no horse in the race.

日本語の概要は準備中です。原文の説明を表示しています。

Trim large MetaX model directories for dummy smoke tests or real-checkpoint loading on limited GPUs. Preserve target execution paths while reducing depth; use the real-weight workflow when a loadable checkpoint is requested. Not for accuracy evaluation or model compatibility upgrades.

日本語の概要は準備中です。原文の説明を表示しています。

profiling 数据统一采集：远端昇腾采集 NPU 性能数据回传本地，供 profiling-analyze 分析。 两条入口——mindiesd 自家脚本入口（collect_profile.py）与三方框架入口 （collect_patch_template.py 补丁 + torchrun，含 vLLM-Omni HTTP 服务等分场景）； warmup 在 profiler 外（默认 5 步，compile ≥10）。 只要用户想"开 profiler/采 profile/拿算子级数据"，自家脚本或 vllm、LightX2V 等框架都先 用本入口；分析/瓶颈定位/优化选型/并行/基准请求分别属 profiling-analyze、 dit-perf-opt、dit-parallel-opt、benchmark-dev，本入口不承接。 由 model-auto-optimization 的 S1（融合分析）阶段调用，亦由 profiling-analyze 与 dev-workflow 的 采集场景指引加载。

日本語の概要は準備中です。原文の説明を表示しています。

vLLM: high-throughput LLM serving, OpenAI API, quantization.

日本語の概要は準備中です。原文の説明を表示しています。

Garanta estrutura válida de JSON/XML/código durante a geração, use modelos Pydantic para outputs type-safe, suporte modelos locais (Transformers, vLLM) e maximize velocidade de inferência com Outlines - biblioteca de geração estruturada da dottxt.ai

日本語の概要は準備中です。原文の説明を表示しています。

vLLM: high-throughput LLM serving, OpenAI API, quantization.

日本語の概要は準備中です。原文の説明を表示しています。

Guarantee valid JSON/XML/code structure during generation, use Pydantic models for type-safe outputs, support local models (Transformers, vLLM), and maximize inference speed with Outlines - dottxt.ai's structured generation library

日本語の概要は準備中です。原文の説明を表示しています。

NVIDIA DGX Spark User Guide リファレンス。GB10 Grace Blackwell Superchip ハードウェア仕様、first-boot / UEFI 設定、Spark Stacking クラスタ、 DGX OS / NGC / container runtime ソフトウェアスタック、 PXE / cloud-init プロビジョニング、fleet lifecycle 運用、 apt / fwupdmgr 更新、system recovery、PSIRT サポート、 vLLM / TensorRT-LLM / Ollama / ComfyUI / NIM / NeMo fine-tune / NCCL 等の build.nvidia.com/spark playbook、複数 Spark 接続・Tailscale・VS Code、 NVIDIA Developer Forums 由来の known issues / troubleshooting。

Serves LLMs with high throughput using vLLM's PagedAttention and continuous batching. Use when deploying production LLM APIs, optimizing inference latency/throughput, or serving models with limited GPU memory. Supports OpenAI-compatible endpoints, quantization (GPTQ/AWQ/FP8), and tensor parallelism.

日本語の概要は準備中です。原文の説明を表示しています。

AI基础设施实战——从GPU集群调度到模型推理部署的全栈实操指南。覆盖：昇腾/GPU统一调度、PyTorch分布式训练、vLLM推理部署、模型量化实战、LLMOps、GPU故障诊断、HuggingFace生态、MLOps流水线。触发词：AI基础设施、GPU、昇腾、训练、推理、vLLM、PyTorch分布式、模型部署、LLMOps、MLOps、集群调度、HuggingFace

日本語の概要は準備中です。原文の説明を表示しています。

LLMの出力をJSONや正規表現、Pydanticの型定義に合わせて生成するスキル。文章からの情報抽出や分類結果を、後続の処理で扱いやすい形式に整えます。

• 文章から企業・商品情報を抽出したいとき
• レビューを決まったラベルで分類したいとき
• プロフィールを項目別に整理したいとき

Configure RuVLLM local inference helpers: generate a config, and create and adapt in-process MicroLoRA and SONA instances from quality signals. Use when you need local, air-gapped inference tooling, not for fine-tuning hosted models.

日本語の概要は準備中です。原文の説明を表示しています。

Cost per million tokens on hardware you own (Ollama, llama.cpp, vLLM, LM Studio) from watts, electricity price, hardware price and measured tokens/second, and the utilisation at which local beats a hosted model. Use for local-vs-API break-even questions.

日本語の概要は準備中です。原文の説明を表示しています。

Vector search via embeddings_* (large-scale HNSW) and ruvllm_hnsw_* (WASM router for ≤11 hot patterns), with RaBitQ 1-bit quantization for 32× memory reduction

日本語の概要は準備中です。原文の説明を表示しています。

Set up a working ML training/inference environment on NVIDIA DGX Spark (GB10, aarch64, CUDA 13). Use when installing PyTorch/Unsloth/TRL/vLLM on DGX Spark, hitting libcudart or wheel-ABI errors on aarch64, or choosing between NGC containers and bare pip installs.

日本語の概要は準備中です。原文の説明を表示しています。

Unified LLM torch-profiler triage skill for `sglang`, `vllm`, `TensorRT-LLM`, and `TokenSpeed`. Use it to inspect an existing `trace.json(.gz)` or profile directory, or to drive live profiling against a running server when supported and return one three-table report with kernel, overlap-opportunity, and fuse-pattern tables.

日本語の概要は準備中です。原文の説明を表示しています。

Meta's 7-8B specialized moderation model for LLM input/output filtering. 6 safety categories - violence/hate, sexual content, weapons, substances, self-harm, criminal planning. 94-95% accuracy. Deploy with vLLM, HuggingFace, Sagemaker. Integrates with NeMo Guardrails.

日本語の概要は準備中です。原文の説明を表示しています。

Half-Quadratic Quantization for LLMs without calibration data. Use when quantizing models to 4/3/2-bit precision without needing calibration datasets, for fast quantization workflows, or when deploying with vLLM or HuggingFace Transformers.

日本語の概要は準備中です。原文の説明を表示しています。

Activation-aware weight quantization for 4-bit LLM compression with 3x speedup and minimal accuracy loss. Use when deploying large models (7B-70B) on limited GPU memory, when you need faster inference than GPTQ with better accuracy preservation, or for instruction-tuned and multimodal models. MLSys 2024 Best Paper Award winner.

日本語の概要は準備中です。原文の説明を表示しています。

Fast structured generation and serving for LLMs with RadixAttention prefix caching. Use for JSON/regex outputs, constrained decoding, agentic workflows with tool calls, or when you need 5× faster inference than vLLM with prefix sharing. Powers 300,000+ GPUs at xAI, AMD, NVIDIA, and LinkedIn.

日本語の概要は準備中です。原文の説明を表示しています。

Evaluates LLMs across 60+ academic benchmarks (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Use when benchmarking model quality, comparing models, reporting academic results, or tracking training progress. Industry standard used by EleutherAI, HuggingFace, and major labs. Supports HuggingFace, vLLM, APIs.

日本語の概要は準備中です。原文の説明を表示しています。

Generates and updates secure, production-ready Kubernetes YAML manifests optimized for GKE Autopilot and GKE Standard clusters. Use when creating or modifying GKE deployment manifests, configuring container security contexts, setting CPU/memory resource limits, defining readiness/liveness/startup probes, mounting secrets and volumes, configuring GKE Gateway API routes, targeting Spot VMs, or deploying AI model inference workloads (vLLM, TGI, Gemma). Don't use for live cluster operations, pod troubleshooting (use gke-workload-troubleshooting), or cluster infrastructure provisioning (use gke-cluster-creation).

日本語の概要は準備中です。原文の説明を表示しています。

Fast structured generation and serving for LLMs with RadixAttention prefix caching. Use for JSON/regex outputs, constrained decoding, agentic workflows with tool calls, or when you need 5× faster inference than vLLM with prefix sharing. Powers 300,000+ GPUs at xAI, AMD, NVIDIA, and LinkedIn.

日本語の概要は準備中です。原文の説明を表示しています。

Activation-aware weight quantization for 4-bit LLM compression with 3x speedup and minimal accuracy loss. Use when deploying large models (7B-70B) on limited GPU memory, when you need faster inference than GPTQ with better accuracy preservation, or for instruction-tuned and multimodal models. MLSys 2024 Best Paper Award winner.

日本語の概要は準備中です。原文の説明を表示しています。