'gpu' 검색 결과

TorchTitan과 PyTorch로 대규모 언어 모델 사전 학습을 설정합니다. 여러 GPU에 작업을 나누고 단일·다중 노드 실행과 학습 저장·재개를 지원합니다.

• 단일 노드에서 Llama 3.1 8B 사전 학습
• SLURM으로 다중 노드 학습 실행
• H100용 Float8 학습 설정

PyTorch 학습 코드를 LightningModule과 Trainer로 정리하고 검증, 로그 기록, 모델 저장부터 여러 GPU의 분산 학습까지 설정합니다.

• 기존 PyTorch 학습 코드 이전
• 검증 지표 기록과 모델 저장 추가
• 여러 GPU를 사용하는 학습 설정

Operate NVIDIA Nsight Graphics from the command line to capture application frames and GPU activity. Summarize performance traces, analyze existing capture files through ngfx-replay, and check installed versions and compatibility before starting an investigation.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Check installed Nsight Graphics versions and compatibility
• Capture frames from a graphics application
• Summarize GPU activity and investigate performance bottlenecks

Measure scripts, running processes, or whole systems to find performance bottlenecks. Select suitable tools, add measurement code when needed, and report CPU, GPU, memory, and communication findings with prioritized recommendations and a record of file changes.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Finding slow functions in a Python script
• Investigating CPU and GPU memory usage
• Measuring communication overhead across multiple GPUs

Guide large language model training with OpenRLHF using human preference feedback. Covers training method selection, distributed GPU setup, reward model training, and memory tuning, with examples for PPO, GRPO, and DPO.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Choosing a training method for human preference alignment
• Setting up distributed training across multiple GPUs
• Training a reward model before PPO

Use this skill when the user is building, running, or interpreting the doca/tools/gpunetio_ib_write_bw client+server benchmark — a CUDA kernel on the client posts RDMA WRITE work requests through the doca-gpunetio device-side surface to measure sustained GPU-driven WRITE bandwidth on a GPU+IB-device pair. Trigger even when the user does not explicitly mention "doca-gpunetio-ib-write-bw" or "GPUNetIO" — typical implicit phrasings include "measure WRITE BW when the GPU posts the WRs", "BW swings between runs on the same flags", "is the NIC saturated or am I CPU-bound on the CUDA kernel", "meson compile fails for the GPUNetIO bw tool", "nvidia_peermem isn't picking up my GPU buffer", or "GPU-initiated WRITE throughput vs CPU-initiated perftest". Refuse and route elsewhere for general doca-gpunetio library work, DOCA install, the GPU-initiated WRITE latency analog, the CPU-initiated upstream perftest, or application-level end-to-end throughput — those belong to other skills.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Use this skill when the user is doing hands-on DOCA GPUNetIO programming — wiring a CUDA kernel on an NVIDIA GPU to a doca-eth queue via doca_gpu_eth_rxq / doca_gpu_eth_txq, standing up the per-CUDA-device doca_gpu context, designing the persistent CUDA kernel that drains the GPU-visible queue, running the dual capability check (DOCA cap-query plus cudaGetDeviceProperties), registering cudaMalloc pools via doca_buf_arr_create_*, or debugging DOCA_ERROR_* returns from the GPUNetIO API. Trigger even when the user does not explicitly mention "DOCA GPUNetIO" or "persistent kernel" — typical implicit phrasings include "CUDA kernel reading packets directly from the NIC", "GPU-initiated networking on BlueField", "DOCA_ERROR_DRIVER on doca_gpu_create", "nvidia_peermem not loaded", "kernel-per-packet is too slow", or "which GPU supports GPU-side packet I/O". Refuse and route elsewhere for general CUDA programming, DOCA Ethernet queue bring-up, DOCA DPA, or DOCA install — those belong to other skills.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

FAISS로 대규모 벡터에서 유사한 데이터를 검색하도록 돕습니다. 인덱스 선택과 저장, GPU 사용을 안내하고 검색 속도·정확도·메모리 사용량을 조정합니다.

• 대규모 벡터 유사도 검색 구현
• 속도·정확도·메모리에 맞는 인덱스 선택
• GPU를 이용한 일괄 검색

Build Python workloads on Modal for cloud execution, including GPU model training and inference, web APIs, scheduled jobs, and parallel batch processing. Configure container environments, persistent storage, and automatic scaling through the Modal SDK.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Serving an AI model through a web API
• Running model training or fine-tuning on cloud GPUs
• Processing independent batch inputs in parallel

Run language models locally with llama.cpp on CPUs, Apple Silicon, or AMD and Intel GPUs. The skill guides model setup, memory-saving GGUF format choices, interactive chat, and serving models through an OpenAI-compatible API.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Running a language model on a CPU-only computer
• Setting up local chat on an Apple Silicon Mac
• Choosing model quantization to fit available memory

Deploy AI models on GKE with suitable GPUs or TPUs and model servers. Generate deployment configuration, adjust automatic scaling, and tune inference—the process of producing model responses—for memory use, throughput, and response time.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Deploying Gemma or Llama on GKE
• Choosing GPUs or TPUs for model serving
• Configuring automatic scaling for LLM requests

Launch machine learning training jobs on local or remote GPUs. The skill checks available GPU memory, synchronizes code, saves logs, and verifies startup, with optional experiment tracking and support for Vast.ai and Modal.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Launch training on an available remote GPU
• Run experiments locally with CUDA or MPS
• Record training metrics with W&B

Deploy language model APIs and run batch generation with vLLM. Configure GPU memory use, quantization—lower precision model storage—and distribution across GPUs, then test response times and monitor how many requests the server handles.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Deploying an OpenAI-compatible language model API
• Generating responses for a large set of prompts
• Fitting a large model into limited GPU memory

Add PyTorch FSDP2 to training scripts so model state can be split across GPUs. Covers distributed initialization, mixed precision, CPU offloading, and checkpoint saving and loading for models that exceed a single GPU's memory.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Training a model that exceeds one GPU's memory
• Adding FSDP2 to an existing training script
• Configuring mixed precision and CPU offloading

Train or fine-tune language and vision models on Hugging Face Jobs without a local GPU. Covers dataset checks, hardware and cost planning, training monitoring, Hub storage, and GGUF conversion for local use.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Fine-tune a language model without a local GPU
• Validate preference data before DPO training
• Estimate training costs and choose GPU hardware

Use this skill when the user is measuring GPU-kernel-initiated RDMA WRITE latency through doca-gpunetio — building and running the `gpunetio_ib_write_lat` client + server pair under `doca/tools/gpunetio_ib_write_lat/`, checking GPU-NIC pairing, reading the half-iter / full-iter / CUDA-side usec columns, characterizing median / p99 / jitter for a real-time control loop, picking GPUNetIO vs GPI vs CPU-initiated `perftest`, or weighing the latency-vs-batching trade-off. Trigger even without 'GPUNetIO' or 'ib_write_lat': 'GPU kernel RDMA latency benchmark', 'how fast can a CUDA kernel post a WRITE', 'p99 RDMA latency on H100 + ConnectX', 'kernel-launched WR tail latency', or 'compare GPU-init vs CPU-init perftest'. Route elsewhere for bandwidth runs (doca-gpunetio-ib-write-bw), the GPI surface (doca-gpi), library debugging (doca-gpunetio), or DOCA install.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

PyTorch 모델과 학습 코드 작성 및 검토를 돕습니다. 데이터 로딩, 실험 재현성, 학습 상태 저장과 복원, GPU 메모리 및 속도 개선을 다룹니다.

• PyTorch 학습 코드 작성과 검토
• 실험 결과가 달라지는 원인 조사
• 로딩 속도와 GPU 메모리 개선

예약이 완료된 Itô GPU 환경에서 기계 학습 훈련을 사용할 수 있는지 확인합니다. 현재는 훈련을 실행하지 않으며, 미제공 기능과 향후 인계 조건을 정리합니다.

• GPU 예약 후 훈련 가능 여부 확인
• 미세 조정 작업의 인계 요건 확인
• 예약, 예산, 확인 절차 정리

예약한 Itô GPU의 모델 서비스 지원 여부와 향후 확인 사항을 정리합니다. 현재는 서비스를 시작하지 않으며, 미지원 범위와 필요한 조건을 안내합니다.

• Itô GPU 예약 후 서비스 지원을 확인합니다
• OpenAI 호환 접속 주소의 제약을 확인합니다
• 향후 모델 서비스 설정을 검토합니다

제한된 GPU 메모리에서 대규모 언어 모델을 추가 학습하도록 LoRA와 QLoRA 설정을 돕습니다. 어댑터 저장, 용도별 전환, 기본 모델과의 병합도 다룹니다.

• 적은 GPU 메모리로 추가 학습
• LoRA 학습 설정 선택
• 용도별 어댑터 전환

Compress large language models to 4-bit weights to reduce GPU memory use and accelerate inference. Covers loading compressed models, configuring quantization, and using Transformers or vLLM, with guidance on hardware requirements and backend choices.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Running large models with limited GPU memory
• Compressing a model with domain-specific sample text
• Serving AWQ models with vLLM

Design and review desktop interfaces built with GPUI Kit. Applies rules for layouts, colors, components, interaction states, and interface wording, with checks for keyboard access, focus behavior, and accessibility before finishing the work.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Designing a new GPUI Kit screen
• Reviewing colors, spacing, and components
• Checking dialog and keyboard behavior

Run TVM's TIRx compiler tests alongside tirx-kernels import and correctness checks. It verifies the local build, selects GPUs, runs parallel tests, saves full logs, and guides failure investigation and result reporting.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Testing TIRx compiler and kernel changes
• Checking tirx-kernels imports and registry entries
• Running parallel tests across selected GPUs

Evaluate NVIDIA Cosmos Policy for robot manipulation in LIBERO and RoboCasa simulations. Follow GPU environment setup, configure rendering without a display, run small checks before larger benchmarks, inspect success rates, and profile inference latency.

한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.

• Running a small LIBERO evaluation
• Evaluating kitchen tasks in RoboCasa
• Setting up simulation on a GPU cluster without a display