深入理解DPO(Direct Preference Optimization)算法

admin2024-08-29  16

目录

  • 1. 什么是DPO?
  • 2. Bradley-Terry模型
    • 2.1 奖励模型的训练
  • 3. 从PPO到DPO
  • 4. DPO的简单实现
  • 5. 梯度分析
  • Ref

1. 什么是DPO?

直接偏好优化(Direct Preference Optimization, DPO)是一种不需要强化学习的对齐算法。由于去除了复杂的强化学习算法,DPO 可以通过与有监督微调(SFT)相似的复杂度实现模型对齐,不再需要在训练过程中针对大语言模型进行采样,同时超参数的选择更加容易。

2. Bradley-Terry模型

Bradley-Terry模型对比较关系进行建模,设 A A A 的实力为 λ 1 \lambda_1 λ1 B B B 的实力为 λ 2 \lambda_2 λ2,那么 A A A B B B 对战, A A A 战胜 B B B 的概率为:

P ( A > B ) = e λ 1 e λ 1 + e λ 2 = α 1 α 1 + α 2 , α 1 ≜ e λ 1 , α 2 ≜ e λ 2 P(A>B)=\frac{e^{\lambda_1}}{e^{\lambda_1}+e^{\lambda_2}}=\frac{\alpha_1}{\alpha_1+\alpha_2},\quad \alpha_1\triangleq e^{\lambda_1},\quad \alpha_2\triangleq e^{\lambda_2} P(A>B)=eλ1+eλ2eλ1=α1+α2α1,α1eλ1,α2eλ2

因为无法保证 λ 1 , λ 2 \lambda_1,\lambda_2 λ1,λ2 一定大于0,所以需要用softmax函数处理一下。

举一个例子,假设有如下的胜负表:

对战
A vs B84
A vs C35

若要求 B B B 战胜 C C C 的概率,我们需要知道 α 2 , α 3 \alpha_2,\alpha_3 α2,α3 的值。首先可以得到似然函数:

L = ( α 1 α 1 + α 2 ) 8 ( α 2 α 1 + α 2 ) 4 ( α 1 α 1 + α 3 ) 3 ( α 3 α 1 + α 3 ) 5 L=\left(\frac{\alpha_1}{\alpha_1+\alpha_2}\right)^8 \left(\frac{\alpha_2}{\alpha_1+\alpha_2}\right)^4 \left(\frac{\alpha_1}{\alpha_1+\alpha_3}\right)^3 \left(\frac{\alpha_3}{\alpha_1+\alpha_3}\right)^5 L=(α1+α2α1)8(α1+α2α2)4(α1+α3α1)3(α1+α3α3)5

对对数似然函数求偏导可以得到 α 2 = 1 2 α 1 ,   α 3 = 5 3 α 1 \alpha_2=\frac12\alpha_1,\,\alpha_3=\frac53\alpha_1 α2=21α1,α3=35α1。于是

P ( B > C ) = α 2 α 2 + α 3 = 1 2 1 2 + 5 3 = 3 13 P(B>C)=\frac{\alpha_2}{\alpha_2+\alpha_3}=\frac{\frac12}{\frac12+\frac53}=\frac{3}{13} P(B>C)=α2+α3α2=21+3521=133

2.1 奖励模型的训练

奖励模型的训练涉及到正例 ( x , y + ) (x,y^+) (x,y+) 和负例 ( x , y − ) (x,y^-) (x,y),其中 x x x 是prompt, y y y 是response。由于 r ( x , y ) r(x,y) r(x,y) 可能是负数,因此在使用Bradley-Terry建模时,需要预先过一下softmax:

P ( y + > y − ∣ x ) = exp ⁡ ( r ( x , y + ) ) exp ⁡ ( r ( x , y + ) ) + exp ⁡ ( r ( x , y − ) ) = 1 1 + exp ⁡ ( r ( x , y − ) − r ( x , y + ) ) = σ ( r ( x , y + ) − r ( x , y − ) ) \begin{aligned} P(y^+>y^-|x)&=\frac{\exp (r(x,y^+))}{\exp (r(x,y^+))+\exp (r(x,y^-))}=\frac{1}{1+\exp(r(x,y^-)- r(x,y^+))} \ &=\sigma (r(x,y^+)-r(x,y^-)) \end{aligned} P(y+>yx)=exp(r(x,y+))+exp(r(x,y))exp(r(x,y+))=1+exp(r(x,y)r(x,y+))1=σ(r(x,y+)r(x,y))

其中 σ ( x ) = 1 1 + e − x \sigma(x)=\frac{1}{1+e^{-x}} σ(x)=1+ex1 是Sigmoid函数。训练奖励模型实际上就是最大化 P ( y + > y − ∣ x ) P(y^+>y^-|x) P(y+>yx) 的过程,这等价于最小化 − log ⁡ P ( y + > y − ∣ x ) -\log P(y^+>y^-|x) logP(y+>yx),因此可以得到奖励模型训练的损失函数:

L RM = − E ( x , y + , y − ) ∼ D [   log ⁡ σ ( r ( x , y + ) − r ( x , y − ) ) ] \mathcal{L}_{\text{RM}} =-\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}} [\,\log\sigma(r(x,y^+)-r(x,y^-))] LRM=E(x,y+,y)D[logσ(r(x,y+)r(x,y))]

这一过程实际上是对比学习,奖励模型需要学习在提升正例分数的同时,进一步降低负例的分数,以最大化正例和负例之间的分数差异。

3. 从PPO到DPO

传统的RLHF算法需要先在人类偏好数据上训练一个奖励模型,然后再使用这个奖励模型和相关的强化学习算法(如PPO)去指导LLM进一步学习,但这种做法有如下弊端:

  • 奖励建模的过程较为复杂,需要额外的计算开销。
  • 强化学习流程复杂,过程不稳定,且对超参数敏感。
深入理解DPO(Direct Preference Optimization)算法,第1张

DPO可以直接让策略模型在人类偏好数据上学习,省去了构建奖励模型和进行强化学习的步骤,故得名直接偏好优化(Direct Preference Optimization)。

我们先来看使用KL散度作为正则项的PPO算法,为了推导更为简便,我们可以将优化目标重写为下式:

max ⁡ π θ E x ∼ D , y ∼ π θ [ r ( x , y ) ] − β KL [ π θ ( y ∣ x )   ∥   π ref ( y ∣ x ) ] \max_{\pi_{\theta}} \mathbb{E}_{x\sim D,y\sim \pi_{\theta}} [r(x,y)]-\beta \text{KL} [\pi_{\theta}(y|x) \,\|\, \pi_{\text{ref}}(y|x)] πθmaxExD,yπθ[r(x,y)]βKL[πθ(yx)πref(yx)]

其中 r ( x , y ) r(x,y) r(x,y) 是奖励函数, π θ \pi_{\theta} πθ 是策略模型(待训练的模型), π ref \pi_{\text{ref}} πref 是参考模型(冻结),两者均从SFT模型初始化得来。在RLHF阶段,我们一方面需要最大化奖励,一方面又不能让策略模型偏离参考模型太远。

注意到 P ( y + > y − ∣ x ) P(y^+>y^-|x) P(y+>yx) 仅跟 r ( x , y ) r(x,y) r(x,y) 有关,如果我们能够找到 π θ \pi_{\theta} πθ r ( x , y ) r(x,y) r(x,y) 之间的关系,我们就能用 π θ \pi_{\theta} πθ 去表示 P ( y + > y − ∣ x ) P(y^+>y^-|x) P(y+>yx),进而就能规避奖励建模的过程。这样一来,LLM就能够通过与强化学习等价的形式学习到人类的价值观和偏好。

考虑对PPO的优化目标进行变换:

max ⁡ π θ E x ∼ D , y ∼ π θ [ r ( x , y ) ] − β KL [ π θ ( y ∣ x )   ∥   π ref ( y ∣ x ) ] = max ⁡ π θ E x ∼ D E y ∼ π θ ( y ∣ x ) [ r ( x , y ) − β log ⁡ π θ ( y ∣ x ) π ref ( y ∣ x ) ] = min ⁡ π θ E x ∼ D E y ∼ π θ ( y ∣ x ) [ log ⁡ π θ ( y ∣ x ) π ref ( y ∣ x ) − 1 β r ( x , y ) ] = min ⁡ π θ E x ∼ D E y ∼ π θ ( y ∣ x ) [ log ⁡ π θ ( y ∣ x ) π ref ( y ∣ x ) + log ⁡ 1 exp ⁡ ( 1 β r ( x , y ) ) + log ⁡ 1 1 Z ( x ) − log ⁡ Z ( x ) ] = min ⁡ π θ E x ∼ D E y ∼ π θ ( y ∣ x ) [ log ⁡ π θ ( y ∣ x ) 1 Z ( x ) π ref ( y ∣ x ) exp ⁡ ( 1 β r ( x , y ) ) − log ⁡ Z ( x ) ] \begin{aligned} &\max_{\pi_{\theta}} \mathbb{E}_{x\sim D,y\sim \pi_{\theta}} [r(x,y)]-\beta \text{KL} [\pi_{\theta}(y|x) \,\|\, \pi_{\text{ref}}(y|x)] \ =&\max_{\pi_{\theta}} \mathbb{E}_{x\sim D} \mathbb{E}_{y\sim \pi_{\theta}(y|x)}\left[ r(x,y)-\beta\log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}\right] \ =&\min_{\pi_{\theta}} \mathbb{E}_{x\sim D} \mathbb{E}_{y\sim \pi_{\theta}(y|x)}\left[ \log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}-\frac{1}{\beta}r(x,y)\right] \ =&\min_{\pi_{\theta}} \mathbb{E}_{x\sim D} \mathbb{E}_{y\sim \pi_{\theta}(y|x)}\left[ \log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}+\log\frac{1}{\exp(\frac{1}{\beta}r(x,y))}+\log\frac{1}{\frac{1}{Z(x)}}-\log Z(x)\right] \ =&\min_{\pi_{\theta}} \mathbb{E}_{x\sim D} \mathbb{E}_{y\sim \pi_{\theta}(y|x)}\left[ \log\frac{\pi_{\theta}(y|x)}{\frac{1}{Z(x)}\pi_{\text{ref}}(y|x)\exp(\frac{1}{\beta}r(x,y))}-\log Z(x)\right] \ \end{aligned} ====πθmaxExD,yπθ[r(x,y)]βKL[πθ(yx)πref(yx)]πθmaxExDEyπθ(yx)[r(x,y)βlogπref(yx)πθ(yx)]πθminExDEyπθ(yx)[logπref(yx)πθ(yx)β1r(x,y)]πθminExDEyπθ(yx)[logπref(yx)πθ(yx)+logexp(β1r(x,y))1+logZ(x)11logZ(x)]πθminExDEyπθ(yx)[logZ(x)1πref(yx)exp(β1r(x,y))πθ(yx)logZ(x)]

其中 Z ( x ) Z(x) Z(x) 是我们额外引入的配分函数,定义为

Z ( x ) = ∑ y π ref ( y ∣ x ) exp ⁡ ( 1 β r ( x , y ) ) Z(x)=\sum_y \pi_{\text{ref}}(y|x)\exp\left(\frac{1}{\beta}r(x,y)\right) Z(x)=yπref(yx)exp(β1r(x,y))

现定义

π ∗ ( y ∣ x ) = 1 Z ( x ) π ref ( y ∣ x ) exp ⁡ ( 1 β r ( x , y ) ) \pi^*(y|x)=\frac{1}{Z(x)}\pi_{\text{ref}}(y|x)\exp\left(\frac{1}{\beta}r(x,y)\right) π(yx)=Z(x)1πref(yx)exp(β1r(x,y))

容易发现 π ∗ \pi^* π 满足以下两个性质:

  • π ∗ ( y ∣ x ) ≥ 0 \pi^*(y|x)\geq 0 π(yx)0
  • ∑ y π ∗ ( y ∣ x ) = 1 \sum_y \pi^*(y|x)=1 yπ(yx)=1

这说明 π ∗ \pi^* π 是一个概率分布,我们将它代回原式并继续推导:

min ⁡ π θ E x ∼ D E y ∼ π θ ( y ∣ x ) [ log ⁡ π θ ( y ∣ x ) π ∗ ( y ∣ x ) − log ⁡ Z ( x ) ] = min ⁡ π θ E x ∼ D [ E y ∼ π θ ( y ∣ x ) [ log ⁡ π θ ( y ∣ x ) π ∗ ( y ∣ x ) ] − log ⁡ Z ( x ) ] = min ⁡ π θ E x ∼ D [ KL [ π θ ( y ∣ x )   ∥   π ∗ ( y ∣ x ) ] − log ⁡ Z ( x ) ] \begin{aligned} &\min_{\pi_{\theta}} \mathbb{E}_{x\sim D} \mathbb{E}_{y\sim \pi_{\theta}(y|x)}\left[ \log\frac{\pi_{\theta}(y|x)}{\pi^*(y|x)}-\log Z(x)\right] \ =&\min_{\pi_{\theta}} \mathbb{E}_{x\sim D} \left[ \mathbb{E}_{y\sim \pi_{\theta}(y|x)}\left[ \log\frac{\pi_{\theta}(y|x)}{\pi^*(y|x)} \right]-\log Z(x) \right] \ =&\min_{\pi_{\theta}} \mathbb{E}_{x\sim D} \left[ \text{KL}[\pi_{\theta}(y|x) \,\|\, \pi^*(y|x)]-\log Z(x) \right] \ \end{aligned} ==πθminExDEyπθ(yx)[logπ(yx)πθ(yx)logZ(x)]πθminExD[Eyπθ(yx)[logπ(yx)πθ(yx)]logZ(x)]πθminExD[KL[πθ(yx)π(yx)]logZ(x)]

注意到配分函数 Z ( x ) Z(x) Z(x) π θ \pi_{\theta} πθ 无关,因此可以视为常数,所以只需要最小化KL散度这一项。根据Gibbs不等式,我们可以直接得到最优解

π θ ( y ∣ x ) = π ∗ ( y ∣ x ) = 1 Z ( x ) π ref ( y ∣ x ) exp ⁡ ( 1 β r ( x , y ) ) \pi_{\theta}(y|x)=\pi^*(y|x)=\frac{1}{Z(x)}\pi_{\text{ref}}(y|x)\exp\left(\frac{1}{\beta}r(x,y)\right) πθ(yx)=π(yx)=Z(x)1πref(yx)exp(β1r(x,y))

接下来推导 r ( x , y ) r(x,y) r(x,y) π θ \pi_{\theta} πθ 之间的关系。对上式移项可得:

exp ⁡ ( 1 β r ( x , y ) ) = π θ ( y ∣ x ) π ref ( y ∣ x ) ⋅ Z ( x ) r ( x , y ) = β log ⁡ π θ ( y ∣ x ) π ref ( y ∣ x ) + β log ⁡ Z ( x ) \begin{aligned} \exp\left(\frac{1}{\beta}r(x,y)\right)&=\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}\cdot Z(x)\ r(x,y)&=\beta\log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)}+\beta \log Z(x) \end{aligned} exp(β1r(x,y))r(x,y)=πref(yx)πθ(yx)Z(x)=βlogπref(yx)πθ(yx)+βlogZ(x)

我们将这个表达式代入到之前的 P ( y + > y − ∣ x ) P(y^+>y^-|x) P(y+>yx) 中可得:

P ( y + > y − ∣ x ) = σ ( r ( x , y + ) − r ( x , y − ) ) = σ ( β log ⁡ π θ ( y + ∣ x ) π ref ( y + ∣ x ) + β log ⁡ Z ( x ) − β log ⁡ π θ ( y − ∣ x ) π ref ( y − ∣ x ) − β log ⁡ Z ( x ) ) = σ ( β log ⁡ π θ ( y + ∣ x ) π ref ( y + ∣ x ) − β log ⁡ π θ ( y − ∣ x ) π ref ( y − ∣ x ) ) \begin{aligned} P(y^+>y^-|x)&=\sigma (r(x,y^+)-r(x,y^-)) \ &=\sigma\left(\beta\log\frac{\pi_{\theta}(y^+|x)}{\pi_{\text{ref}}(y^+|x)}+\beta \log Z(x)-\beta\log\frac{\pi_{\theta}(y^-|x)}{\pi_{\text{ref}}(y^-|x)}-\beta \log Z(x) \right) \ &=\sigma\left(\beta\log\frac{\pi_{\theta}(y^+|x)}{\pi_{\text{ref}}(y^+|x)}-\beta\log\frac{\pi_{\theta}(y^-|x)}{\pi_{\text{ref}}(y^-|x)} \right) \ \end{aligned} P(y+>yx)=σ(r(x,y+)r(x,y))=σ(βlogπref(y+x)πθ(y+x)+βlogZ(x)βlogπref(yx)πθ(yx)βlogZ(x))=σ(βlogπref(y+x)πθ(y+x)βlogπref(yx)πθ(yx))

最终得到DPO的目标函数:

L DPO = − E ( x , y + , y − ) ∼ D [ log ⁡ σ ( β log ⁡ π θ ( y + ∣ x ) π ref ( y + ∣ x ) − β log ⁡ π θ ( y − ∣ x ) π ref ( y − ∣ x ) ) ] \mathcal{L}_{\text{DPO}}=-\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}} \left[ \log\sigma\left(\beta\log\frac{\pi_{\theta}(y^+|x)}{\pi_{\text{ref}}(y^+|x)}-\beta\log\frac{\pi_{\theta}(y^-|x)}{\pi_{\text{ref}}(y^-|x)} \right) \right] LDPO=E(x,y+,y)D[logσ(βlogπref(y+x)πθ(y+x)βlogπref(yx)πθ(yx))]

可以发现 L DPO \mathcal{L}_{\text{DPO}} LDPO L RM \mathcal{L}_{\text{RM}} LRM 的形式十分接近,即DPO具有以下形式的隐式奖励函数:

r θ ( x , y ) = β log ⁡ π θ ( y ∣ x ) π ref ( y ∣ x ) r_{\theta}(x,y)=\beta\log\frac{\pi_{\theta}(y|x)}{\pi_{\text{ref}}(y|x)} rθ(x,y)=βlogπref(yx)πθ(yx)

这也回应了DPO论文标题中的「Your Language Model is Secretly a Reward Model」。

接下来可以总结一下DPO的流程了:

  • π SFT \pi^{\text{SFT}} πSFT 初始化 π θ ,   π ref \pi_{\theta},\,\pi_{\text{ref}} πθ,πref
  • 对于每个 x x x,用 π ref \pi_{\text{ref}} πref 采样一对答案 ( y 1 , y 2 ) (y_1,y_2) (y1,y2),再让人工标注者去标注,以离线的方式构建人类偏好数据集 D = { x i , y i + , y i − } i = 1 N \mathcal{D}=\{x_i,y_i^+,y_i^-\}_{i=1}^N D={xi,yi+,yi}i=1N
  • 通过最小化 L DPO \mathcal{L}_{\text{DPO}} LDPO 来不断优化 π θ \pi_{\theta} πθ

4. DPO的简单实现

为方便计算,我们对 L DPO \mathcal{L}_{\text{DPO}} LDPO 做个简单的变形:

L DPO = − E ( x , y + , y − ) ∼ D [ log ⁡ σ ( β log ⁡ π θ ( y + ∣ x ) π θ ( y − ∣ x ) − β log ⁡ π ref ( y + ∣ x ) π ref ( y − ∣ x ) ) ] \mathcal{L}_{\text{DPO}}=-\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}} \left[ \log\sigma\left(\beta\log\frac{\pi_{\theta}(y^+|x)}{\pi_{\theta}(y^-|x)}-\beta\log\frac{\pi_{\text{ref}}(y^+|x)}{\pi_{\text{ref}}(y^-|x)} \right) \right] LDPO=E(x,y+,y)D[logσ(βlogπθ(yx)πθ(y+x)βlogπref(yx)πref(y+x))]

一种简单的实现:

def dpo_loss(policy_chosen_logps, policy_rejected_logps, ref_chosen_logps, ref_rejected_logps, beta):
    """
    Compute the simplified DPO loss with sigmoid loss type.

    Args:
        policy_chosen_logps: Log probabilities of the policy model for the chosen responses. Shape: (batch_size,)
        policy_rejected_logps: Log probabilities of the policy model for the rejected responses. Shape: (batch_size,)
        ref_chosen_logps: Log probabilities of the reference model for the chosen responses. Shape: (batch_size,)
        ref_rejected_logps: Log probabilities of the reference model for the rejected responses. Shape: (batch_size,)
        beta: Temperature controlling strength of KL penalty

    Returns:
        losses: The DPO loss for each example in the batch.
        chosen_rewards: Rewards for the chosen responses.
        rejected_rewards: Rewards for the rejected responses.
    """

    # Calculate log-ratios
    policy_logratios = policy_chosen_logps - policy_rejected_logps
    ref_logratios = ref_chosen_logps - ref_rejected_logps

    # Compute logits for sigmoid loss
    logits = policy_logratios - ref_logratios

    # Sigmoid loss type
    losses = -F.logsigmoid(beta * logits)

    # Compute rewards
    chosen_rewards = beta * (policy_chosen_logps - ref_chosen_logps).detach()
    rejected_rewards = beta * (policy_rejected_logps - ref_rejected_logps).detach()

    return losses, chosen_rewards, rejected_rewards

5. 梯度分析

通过对DPO的目标函数求导,我们可以深入理解DPO算法如何针对LLM的参数进行优化。

u = β log ⁡ π θ ( y + ∣ x ) π ref ( y + ∣ x ) − β log ⁡ π θ ( y − ∣ x ) π ref ( y − ∣ x ) u=\beta\log\frac{\pi_{\theta}(y^+|x)}{\pi_{\text{ref}}(y^+|x)}-\beta\log\frac{\pi_{\theta}(y^-|x)}{\pi_{\text{ref}}(y^-|x)} u=βlogπref(y+x)πθ(y+x)βlogπref(yx)πθ(yx),利用Sigmoid函数的性质,我们有:

∇ L DPO = − E ( x , y + , y − ) ∼ D [ ∇ log ⁡ σ ( u ) ] = − E ( x , y + , y − ) ∼ D [ ∇ σ ( u ) σ ( u ) ∇ u ] = − E ( x , y + , y − ) ∼ D [ σ ( − u ) ∇ u ] = − E ( x , y + , y − ) ∼ D [ σ ( r θ ( x , y − ) − r θ ( x , y + ) ) ⋅ ( ∇ log ⁡ π θ ( y + ∣ x ) − ∇ log ⁡ π θ ( y − ∣ x ) ) ] \begin{aligned} \nabla \mathcal{L}_{\text{DPO}}&=-\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}}[\nabla\log\sigma(u)]= -\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}}\left[\frac{\nabla \sigma(u)}{\sigma(u)}\nabla u\right] \ &=-\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}}\left[ \sigma(-u)\nabla u \right] \ &=-\mathbb{E}_{(x,y^+,y^-)\sim \mathcal{D}}\left[ \sigma(r_{\theta}(x,y^-)-r_{\theta}(x,y^+)) \cdot (\nabla \log \pi_{\theta}(y^+|x) - \nabla \log \pi_{\theta}(y^-|x)) \right] \end{aligned} LDPO=E(x,y+,y)D[logσ(u)]=E(x,y+,y)D[σ(u)σ(u)u]=E(x,y+,y)D[σ(u)u]=E(x,y+,y)D[σ(rθ(x,y)rθ(x,y+))(logπθ(y+x)logπθ(yx))]

其中 r θ r_{\theta} rθ 是上文提到的隐式奖励函数。

通过对上述目标函数的导数进行分析,可以发现优化过程中会增大 log ⁡ π θ ( y + ∣ x ) \log \pi_\theta(y^+|x) logπθ(y+x) log ⁡ π θ ( y − ∣ x ) \log \pi_\theta(y^-|x) logπθ(yx) 之间的差异。这表明优化过程中训练模型向符合人类偏好的内容靠近 ( y + ) (y^+) (y+),同时尽量避免生成不符合人类偏好的内容 ( y − ) (y^-) (y)

此外,公式的前半部分 σ ( r θ ( x , y − ) − r θ ( x , y + ) ) \sigma(r_\theta(x,y^-) - r_\theta(x,y^+)) σ(rθ(x,y)rθ(x,y+)) 可以看作是梯度的系数,动态地控制梯度下降的步长。可以发现,当策略模型更倾向于生成不符合人类偏好的内容 y − y^- y 时, r θ ( x , y − ) r_\theta(x,y^-) rθ(x,y) r θ ( x , y + ) r_\theta(x,y^+) rθ(x,y+) 之间的差值变大,导致梯度下降的步长变大,从而进行更为激进的参数更新,以避免生成 y − y^- y。反之,当策略模型倾向于生成符合人类偏好的内容 y + y^+ y+ 时,说明策略模型当前具备较好的参数。此时梯度的系数变小,这会使得策略模型的参数的更新幅度降低,防止更新步长过大使得策略模型的性能出现震荡,增加训练的稳定性。


Ref

[1] https://www.bilibili.com/video/BV1GF4m1L7Nt/?spm_id_from=333.337.search-card.all.click
[2] 《大模型综述》
[3] https://en.wikipedia.org/wiki/Bradley%E2%80%93Terry_model

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!