强化学习（Reinforcement Learning）

强化学习（Reinforcement Learning，简称 RL）是机器学习的一个重要分支，研究智能体如何在与环境的交互中根据奖励信号不断试错、调整行为，从而学会使长期累积回报最大化的决策策略。

概述

与监督学习和无监督学习并列，强化学习被视为机器学习的第三种基本范式。它的独特之处在于：既不需要人工标注好的输入输出样本，也不要求对错误动作给出精确纠正，而是让智能体自己去尝试——做出动作、观察环境反馈的奖励或惩罚，再据此改进下一步的选择，整个过程类似训练宠物或人类通过实践积累经验。

强化学习通常用「马尔可夫决策过程（MDP）」来描述问题：智能体在某个状态下选择动作，环境随之转移到新状态并给出奖励。由于奖励往往是延迟的（比如下棋要到终局才知输赢），算法必须学会把最终结果合理归因到之前的一连串决策上，这是强化学习区别于其他方法的核心难点之一。

近年来，强化学习与深度神经网络结合形成「深度强化学习」，先后在围棋、电子游戏、机器人控制等领域取得突破；在大语言模型时代，基于人类反馈的强化学习（RLHF）更成为让 ChatGPT、Claude 等模型学会「说人话、守规矩」的关键训练环节。

核心概念

• 智能体与环境：智能体（Agent）是学习和决策的主体，环境（Environment）是它交互的对象，两者构成反馈闭环。
• 状态、动作与奖励：智能体观察当前状态，选择一个动作，环境返回奖励值和新状态，奖励是学习的唯一「指挥棒」。
• 策略与价值函数：策略决定在什么状态下做什么，价值函数估计某个状态或动作的长期回报，多数算法围绕这两者展开。
• 探索与利用：是尝试未知动作以发现更好选择（探索），还是沿用已知的最佳做法（利用），如何平衡二者是强化学习的经典难题，在多臂老虎机问题中研究得最为充分。

典型应用

强化学习最出圈的成果是击败人类顶尖棋手的围棋程序，此外它还广泛用于游戏 AI、机器人步态与抓取控制、自动驾驶决策、推荐系统排序、数据中心节能调度等场景。在 AI 大模型领域，RLHF 和面向推理能力的强化学习训练，已成为提升模型对齐程度与解题能力的主流手段。

常见问题

问：强化学习和监督学习有什么区别？答：监督学习依赖大量带标准答案的样本，模型照着答案学；强化学习没有标准答案，只有环境给出的奖励信号，智能体要靠自己试错摸索出好策略，且要处理奖励延迟到来的问题。

问：什么是「探索与利用」的权衡？答：一直用当前已知的最优动作可能错过更好的选择，一味尝试新动作又会浪费机会拿不到高回报。好的强化学习算法需要在两者之间动态平衡，先多探索、后多利用是常见思路。

问：强化学习和大模型有什么关系？答：大语言模型在预训练后通常会经过 RLHF（基于人类反馈的强化学习）微调，用人类偏好作为奖励信号，让回答更有用、更安全；新一代推理模型也大量使用强化学习来提升数学、编程等复杂任务的表现。