AI 工程师精讲 15：DPO 如何不训奖励模型、不做强化学习完成对齐

本文讲解 DPO（Direct Preference Optimization）的数学原理、工程优势与适用边界。其核心是利用最优策略与奖励函数的一一对应关系把奖励模型从目标函数中消去，训练退化为类似监督微调的稳定流程，同时驻留的模型从四个降到两个。代价是失去在线探索能力且对偏好数据噪声和长度偏置更敏感，因此它适合语气、格式等局部偏好对齐，而推理等需要探索的能力训练仍依赖在线强化学习。