# TRL - 基于 Transformers 的强化学习

TRL 是一个全栈库，我们提供了一系列工具，用于使用监督微调（SFT）、组相对策略优化（GRPO）、直接偏好优化（DPO）、奖励建模等方法训练 Transformer 语言模型。该库与 🤗 [transformers](https://github.com/huggingface/transformers) 集成。

## 🎉 新功能

**⚡ AsyncGRPOTrainer 现已稳定：** [AsyncGRPOTrainer](/docs/trl/v1.18.2/zh/async_grpo_trainer#trl.AsyncGRPOTrainer) 已升级为稳定 API。它通过将生成与训练解耦，大幅提升了 GRPO 的运行速度：vLLM 服务器流式传输 rollout，同时训练器更新模型。

## 分类

以下是按成熟度和方法类型整理的 TRL 训练器概览。

#### 在线方法

- [`AsyncGRPOTrainer`](async_grpo_trainer)
- [`GRPOTrainer`](grpo_trainer)
- [`RLOOTrainer`](rloo_trainer)

#### 奖励建模

- [`RewardTrainer`](reward_trainer)

#### 离线方法

- [`SFTTrainer`](sft_trainer)
- [`DPOTrainer`](dpo_trainer)
- [`KTOTrainer`](kto_trainer)

#### 知识蒸馏

- [`DistillationTrainer`](distillation_trainer)

### 实验性

#### 在线方法

- [`A2POTrainer`](a2po_trainer)
- [`GMPOTrainer`](gmpo)
- [`OnlineDPOTrainer`](online_dpo_trainer)

#### 离线方法

- [参考模型的 BEMA](bema_for_reference_model)
- [`CPOTrainer`](cpo_trainer)
- [`ORPOTrainer`](orpo_trainer)

#### 知识蒸馏

- [`AsyncDistillationTrainer`](async_distillation_trainer)
- [`GKDTrainer`](gkd_trainer)
- [`GOLDTrainer`](gold_trainer)
- [`IWOPDTrainer`](iw_opd_trainer)
- [`SDFTTrainer`](sdft_trainer)
- [`SDPOTrainer`](sdpo_trainer)

您还可以在 [TRL Hugging Face 组织](https://huggingface.co/trl-lib) 中探索与 TRL 相关的模型、数据集和演示。

## 学习

在 🤗 [smol course](https://github.com/huggingface/smol-course) 中，学习使用 TRL 及其他库进行后训练。

## 目录

文档分为以下几个部分：

- **入门指南**：安装和快速入门指南。
- **概念指南**：数据集格式、训练常见问题解答以及日志解读。
- **操作指南**：减少内存占用、加快训练速度、分布式训练等。
- **集成**：DeepSpeed、PEFT 等
- **示例**：示例概览、社区教程等。
- **API**：训练器、工具等。

## 博客文章

  
    
      
      发布于 2026 年 5 月 27 日 使用 Hub 桶交付万亿参数：TRL 中的 Delta 权重同步
    
    
      
      发布于 2026 年 3 月 31 日 TRL v1：当领域自身的前提被推翻时，依然稳固可靠的后训练库
    
    
      
      发布于 2026 年 3 月 10 日 让 Token 持续流动：来自 16 个开源强化学习库的经验
    
    
      
      发布于 2026 年 3 月 9 日 Ulysses 序列并行：使用百万级 Token 上下文进行训练
    
    
      
      2025 年 10 月 23 日发布 共同构建开放智能体生态系统：推出 OpenEnv
    
    
      
      发布于 2025 年 8 月 7 日 TRL 中的视觉语言模型对齐 ⚡️
    
    
      
      发布于 2025 年 6 月 3 日 不让任何 GPU 闲置：在 TRL 中利用同置 vLLM 释放效率
    
    
      
      发布于 2025 年 5 月 25 日 🐯 Liger GRPO 与 TRL 的结合
    
    
      
      发布于 2025 年 1 月 28 日 Open-R1：对 DeepSeek-R1 的完全开源复现
    
    
      
      2024 年 7 月 10 日发布 使用 TRL 对视觉语言模型进行偏好优化
    
    
      
      发布于 2024 年 6 月 12 日 将 RL 重新引入 RLHF
    
    
      
      发布于 2024 年 1 月 10 日 使用 Unsloth 和 🤗 TRL 将 LLM 微调速度提升 2 倍
    
    
      
      发布于 2023 年 9 月 29 日 通过 TRL 使用 DDPO 微调 Stable Diffusion 模型
    
    
      
      发布于 2023 年 8 月 8 日 使用 DPO 微调 Llama 2
    
    
      
      发布于 2023 年 4 月 5 日 StackLLaMA：使用 RLHF 训练 LLaMA 的实战指南
   
    
      
      发布于 2023 年 3 月 9 日 在 24GB 消费级 GPU 上使用 RLHF 微调 20B LLM
    
    
      
      发布于 2022 年 12 月 9 日 图解基于人类反馈的强化学习
    
  

## 演讲

  
    
      
      2025 年 10 月 30 日演讲：使用 TRL 进行微调
    
  

