1. 核心结论

• RLHF 是让大模型与人类偏好对齐的关键技术
• 通过奖励模型和强化学习优化模型输出
• DPO 等直接偏好优化方法正在简化对齐流程

2. 基础概念

RLHF：基于人类反馈的强化学习，优化模型输出符合人类偏好 奖励模型：学习人类偏好的评分模型，用于指导强化学习 DPO：直接偏好优化，无需训练奖励模型的对齐方法 Constitutional AI：通过自我修正实现对齐的方法

3. 实战场景

• 模型安全性对齐
• 减少有害输出
• 提升回答质量和有用性

4. 关联笔记

• 指令微调
• 安全边界
• AI伦理