본문으로 건너뛰기
cccskills

'in-flight batching' 검색 결과

6건 · 관련도순

tensorrt-llm

무료

Configure LLM inference and serving on NVIDIA GPUs with TensorRT-LLM. Covers quantization, which reduces numerical precision, batching requests during generation, and distributing models across GPUs to improve processing capacity and response times.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Setting up an LLM server on NVIDIA GPUs
  • Configuring FP8 or INT4 quantization
  • Distributing large models across multiple GPUs
davila7/claude-code-templates3.3만2026년 10월 18일 업데이트

tensorrt-llm

무료

Configure LLM inference and serving on NVIDIA GPUs with TensorRT-LLM. Covers quantization, which reduces numerical precision, batching requests during generation, and distributing models across GPUs to improve processing capacity and response times.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

  • Setting up an LLM server on NVIDIA GPUs
  • Configuring FP8 or INT4 quantization
  • Distributing large models across multiple GPUs
Orchestra-Research/AI-Research-SKILLs1.4만2026년 10월 11일 업데이트

tensorrt-llm

무료

Optimizes LLM inference with NVIDIA TensorRT for maximum throughput and lowest latency. Use for production deployment on NVIDIA GPUs (A100/H100), when you need 10-100x faster inference than PyTorch, or for serving models with quantization (FP8/INT4), in-flight batching, and multi-GPU scaling.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

huang-sh/DeepScience42026년 7월 15일 업데이트

tensorrt-llm

무료

Optimizes LLM inference with NVIDIA TensorRT for maximum throughput and lowest latency. Use for production deployment on NVIDIA GPUs (A100/H100), when you need 10-100x faster inference than PyTorch, or for serving models with quantization (FP8/INT4), in-flight batching, and multi-GPU scaling.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Lord1Egypt/awesome-skill-forge22026년 6월 10일 업데이트

tensorrt-llm

무료

Otimiza inferência de LLM com NVIDIA TensorRT para máxima vazão e latência mínima. Use para implantação em produção em GPUs NVIDIA (A100/H100), quando você precisa de inferência 10-100x mais rápida que PyTorch, ou para servir modelos com quantização (FP8/INT4), batching em voo e escalabilidade multi-GPU.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

artubss/SKILLS-CLAUDE-CODE112026년 5월 17일 업데이트

tensorrt-llm

무료

Optimizes LLM inference with NVIDIA TensorRT for maximum throughput and lowest latency. Use for production deployment on NVIDIA GPUs (A100/H100), when you need 10-100x faster inference than PyTorch, or for serving models with quantization (FP8/INT4), in-flight batching, and multi-GPU scaling.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

ibragimov-oasis/vibe-coder32026년 6월 24일 업데이트