TRL로 언어 모델을 추가 학습해 지시와 사람의 선호에 맞는 답변을 만들도록 안내합니다. 데이터 준비, 학습 방식 선택, 보상 모델 학습과 평가를 다룹니다.
- 답변 예시로 지시 수행을 학습합니다
- DPO로 답변 선호를 학습합니다
- 보상 모델을 쓰는 RLHF를 구성합니다
528건 · 관련도순
TRL로 언어 모델을 추가 학습해 지시와 사람의 선호에 맞는 답변을 만들도록 안내합니다. 데이터 준비, 학습 방식 선택, 보상 모델 학습과 평가를 다룹니다.
선호 답변과 비선호 답변 쌍으로 별도 참조 모델 없이 대규모 언어 모델을 추가 학습합니다. 모델별 설정과 학습 불안정, 메모리 부족에 대한 대응을 안내합니다.
Reduce the memory needed to run large language models with GPTQ quantization, which stores model weights at lower precision. Covers loading compressed models, quantizing your own models, choosing execution backends, and connecting to memory-efficient fine-tuning.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Explore training workflows that reduce harmful model responses using a written set of principles. The skill covers self-critique, revised training examples, and RLAIF, reinforcement learning from AI feedback, with implementation examples and hardware guidance.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Plan and configure large language model training with OpenRLHF to better match human preferences. Covers training method selection, distributed GPU setup, inference acceleration with vLLM, and troubleshooting memory or training stability issues.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Train language models with SimPO using pairs of preferred and rejected answers. Configure preference training without a separate reference model, adapt settings for base or instruction models, and address unstable training, memory limits, or lost capabilities.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Guide language model training with TRL, from learning to follow instructions to matching human preferences. Covers method selection, training data, reward models that score responses, evaluation, and adjustments for memory limits or unstable training.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Guides the use of RWKV, a language model architecture that carries information forward in a compact state. Covers streaming text generation, long document processing, fine-tuning, and memory comparisons with Transformers.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Deploy language models with vLLM through an OpenAI-compatible API or offline batch processing. Tune response speed, throughput, and GPU memory use with quantization, which reduces numerical precision, and execution across multiple GPUs.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Reduce GPU memory use by loading language models in 8-bit or 4-bit formats with bitsandbytes and HuggingFace Transformers. Includes configuration examples, QLoRA fine-tuning of compressed models, and optimizers that reduce memory needed during training.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Build and evaluate Mamba models for long sequences using state-space models, which summarize past inputs in an internal state. Covers setup, pretrained text generation, differences between Mamba-1 and Mamba-2, and speed comparisons with Transformers.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Use LitGPT to explore language model implementations and train models on custom data. Covers pretrained model loading, LoRA fine-tuning that updates a small set of parameters, pretraining, and preparing trained models for deployment.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Prepare training datasets for large language models with GPU-assisted cleaning. Covers duplicate removal, quality filtering, and personal information redaction, with workflows for text, images, video, and audio using NeMo Curator.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Helps configure and troubleshoot DeepSpeed for training large models across multiple devices. Covers memory optimization, parallel training, and DeepNVMe storage transfers, with examples for tuning data movement and configuring models that divide work among specialized components.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Transcribe audio files through 9Router using models from providers such as OpenAI, Groq, and Deepgram. Receive plain text, structured results with timestamps, or SRT and VTT subtitles, depending on the selected model’s support.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Build visual AI systems that detect objects or divide images into labeled regions. This skill guides dataset preparation, model selection, training, evaluation, inference optimization, and deployment using frameworks such as PyTorch and Ultralytics.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Analyze the full retained history of one NemoClaw pull request to identify contributor, review, and automation delays. Generate a summary and an interactive timeline file, then compare observed timing with a default ten-minute target or a requested alternative.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Implement an accepted NemoClaw issue or repair a classified pull request finding. Keep changes within the agreed scope, run focused checks for affected behavior, and review the final changes before handing evidence to an authorized publication workflow.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Audit and upgrade NemoClaw dependencies, including Hermes and base images. Trace upstream changes to affected code, implement required migrations, and verify tests, distributed artifacts, and the versions actually selected for use.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Find the right NemoClaw skill for a task using a catalog organized for users, maintainers, and contributors. Understand which skill handles documentation, setup, implementation, reviews, or releases, and choose an appropriate starting point.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Recheck older NemoClaw bug reports against the reported and newest releases, then prepare evidence-backed recommendations for maintainers. It documents reproduction results and proposed updates for approval without automatically closing issues.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Validate the staging NemoClaw Brev Launchable by checking its web deployment flow, environment access, deployed image, and preinstalled user journey. Report inference results and missing dependencies separately as advisory evidence outside automated end-to-end testing.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Draft a NemoClaw release announcement from verified GitHub tags and shipped pull requests. Produce a local Markdown draft with an opening narrative, categorized changes, visible pull request links, and thanks to external contributors.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.
Reorganize NemoClaw documentation into focused pages with clearer navigation and a single home for each topic. Plan or implement structural changes while preserving useful information and existing published URLs, then validate routes, links, and builds.
한국어 요약은 준비 중입니다. 영어 요약을 표시하고 있습니다.