'distributed-training' 검색 결과

Guide for selecting and configuring distributed training strategies in NeMo AutoModel, including FSDP2, Megatron FSDP, DDP, and parallelism settings.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Train and deploy neural networks in distributed E2B sandboxes with Flow Nexus

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Official NVIDIA-authored guidance for PhysicsNeMo ShardTensor domain parallelism — integrate domain parallelism into training/inference scripts (new or existing) with DDP or FSDP2, write and register shard patches to enable new layers/ops, and bootstrap multi-GPU correctness tests. Use when working with ShardTensor, scatter_tensor, domain parallelism, sequence/spatial sharding, ring attention, DeviceMesh + DDP/FSDP2 hybrid parallelism, or physicsnemo.domain_parallel. Do NOT use for generic PyTorch DDP/FSDP setup without domain parallelism, picking a PhysicsNeMo model or example (use physicsnemo-discover), or non-distributed training questions.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Train and deploy neural networks in distributed E2B sandboxes with Flow Nexus

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Train and deploy neural networks in distributed E2B sandboxes with Flow Nexus

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Use when training models across multiple GPUs or nodes, handling large models that don't fit in memory, or optimizing training throughput - covers DDP, FSDP, DeepSpeed ZeRO, model/data parallelism, and gradient checkpointingUse when ", " mentioned.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Train and deploy neural networks in distributed E2B sandboxes with Flow Nexus

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Guides multi-GPU pre-training: DDP, FSDP2, ZeRO, tensor/pipeline/expert parallelism, fp8/Muon. Use when scaling a run, training MoE, or reproducing GPT-2 on rented GPUs.

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.

Train and deploy neural networks in distributed E2B sandboxes with Flow Nexus

한국어 요약은 준비 중입니다. 원문 설명을 표시하고 있습니다.