一文读懂推荐系统中的debias

引言

我们说到的 bias，一般是指一种相对不公平、偏离客观公正的理想状态，或者在整体的各个方面上表现出 unbalanced issues 的现象。对于“客观公正的理想状态”，在各种场景中没有一个统一的定义，而是在各自场景的讨论中会产生一些达成共识的概念。然而，这个概念也是随着人们认知的加深而不断延展的。因此 bias 仍然是一个非常 open 的话题。

推荐系统是一个涉及到众多环节的复杂系统。在系统中，推荐模型基于发生过的用户行为进行学习，对用户进行 item（视频、文章、商品等）的展现，用户对展现出来的 item 产生反馈，反馈的用户行为数据继续被模型学习。在整个链路中，没有哪个环节是绝对意义上的“因”和“果”，它们是一个相互影响的关系。（见图 1）

图 1. 推荐系统中各个环节和 bias 产生的阶段（来自文献[1]）

推荐系统的各个环节都依赖于用户与 item 的交互，交互是有限且需要花费成本的，在某些情况下不会是客观事实的充分反映。在此 bias 就会产生，并且对推荐系统的整个链路产生着影响。

一些比较公认的 bias 包括：

Position bias（位置偏差）：

• 概念解释：用户的精力是有限的，用户有更大概率与展现在靠前位置的 item 发生交互，产生正向行为，而与 item 是否符合用户偏好无关。
• 负面影响：数据中的正负例 label 不一定客观反映用户偏好。
• 典型场景：电商/文章 推荐中一个页面内有多个位置展现的点击行为。

Exposure Bias（曝光偏差）：

• 注意：这里的 exposure 曝光，是指 item 真正被用户注意到，而不是 item 简单地在客户端展现。下文会使用曝光一词来代指用户真正注意到了 item，而使用展现一词来代指 item 在客户端展现的埋点上报，以此作为区别。
• 概念解释：存在于基于隐式反馈（implicit feedback）建模的场景中（比如 CTR 场景），对于全量的 item，用户只会被曝光到其中的少数一部分，并与之产生显式正向行为。那些没有显式行为的 item，可能是用户不感兴趣，也可能是没有曝光给用户。如果简单地将它们都处理为负例用作训练模型，那么将会产生严重的偏差（一些论文将其称为 positive-unlabeled 问题）。另一方面，在推荐结果中，热度越高 item， 会更可能曝光给用户。对于用户来说，一个 item 是否会产生显式正向行为的记录，是非随机缺失的（missing not at random，很多论文中又简称为 MNAR）。这样会导致收集到的数据分布与真实的分布是不一致的。
• 负面影响：没有正向行为的 item，并非都是真实的负例，简单粗暴处理会带来 false negative。在曝光偏差产生的场景中，有的是将未展现给用户的 item，进行随机负采样作为用户的负反馈；有的是将展现但未产生互动行为的 item 作为用户的负反馈，两者都会带来偏差。
• 典型场景：使用隐式反馈的电商/视频等推荐。

Selection Bias（选择偏差）：

• 概念解释：存在于基于显式反馈（explicit feedback）建模的场景中（比如商品评分），用户倾向于对喜好的 item 进行评分，并且用户倾向于对非常好或非常坏的 item 进行评分。因此，所观察到的评分结果的数据分布，并不是真实的全量分布。
• 负面影响：观测数据的分布是有偏的。
• 典型场景：预测用户对电影的评分。

还有其他的 bias 比如 Conformity Bias（人在社会环境中意见与群体趋同导致的偏差），Popularity Bias（高热度 item 获得的流量远超过合理水平，造成马太效应），不在该文中做更多讨论。

上述 bias 的存在，给推荐系统的服务效果带来了负面影响。在笔者看来，Position bias 和 Exposure Bias 是推荐系统中最重要和常见的两类 bias。因此，下文针对这两类 bias，介绍学术界过去提出的一些主流 debias（消除偏差）的解决方案。

以笔者之见，从技术方案的实现角度而言，Position bias 和 Exposure Bias 的主流 debias 方案可以归类为曝光建模和样本调权两种思路。

• 曝光建模： 在理论上假设，用户显式行为的发生可以解耦为“item 是否曝光给用户”和“item 是否符合用户偏好”两个事件。在算法设计中，显式地对“是否曝光”进行建模，从而使模型真正地从数据样本中，学习到 item 与用户相关性的客观规律。曝光建模思路的特点是，需要对“是否曝光”的依赖变量做一定假设，并且需要实际数据样本能反映出假设的规律，因此也需要样本量足够充分。
• 样本调权： 根据业务场景的特性，对不同的样本赋予不同的权重，特别是对置信度较小的样本（例如隐式反馈场景中的负例）赋予较小的权重，使得样本层面上反映出的 bias 得到减轻。另外，根据业务场景中 bias 的产生机理，对于观测到的样本，重新定义损失函数，使其近似趋近于无偏的情况，也是一种 debias 的思路。由于重新定义损失函数的做法，本质上也是改变了不同样本的权重，本文将这一思路归类到样本调权的思路下。样本调权思路的特点是，需要较强的人工经验和业务理解。

需要注意的是，两种思路并没有绝对的区别。在某些方案中，建模了曝光概率，同时利用模型预估得到的曝光概率对样本进行调权。因为这类思路依赖于对曝光的建模，本文将其归类到曝光建模之下。

本文内容组织主要参考综述文献 Jiawei Chen, Hande Dong, Xiang Wang, Fuli Feng, Meng Wang, and Xiangnan He. Bias and Debias in Recommender System: A Survey and Future Directions [1].

本文后续内容安排如下:

• 曝光建模： 介绍曝光建模思路分别在 position bias 和 exposure bias 场景对应的具体技术方案。在每个 bias 场景标题的开头，简要回顾了 bias 的含义和产生机理。
• 样本调权： 介绍样本调权思路分别在 position bias 和 exposure bias 场景的方案。其中，在 exposure bias 标题下，将样本调权的方案分为“启发式调权”和“损失函数重定义”两个方向进行叙述。
• 评估指标的 debias： 介绍在模型评估指标（即 metrics）中消除偏差的思路。

曝光建模

Position bias

位置偏差在 learning-to-rank 系统中是一种常见偏差，它的基本假设是展现在靠前位置的 item 有更大概率被用户点击，无论 item 是否符合用户偏好，在广告系统和搜索排序场景中都比较常见。

对 position bias 采用曝光建模来 debias，思路是，将用户点击行为发生的中间过程拆分出来，对中间的曝光事件进行建模，并利用这些中间过程的模型预测值进行消偏。如何去拆分点击的中间过程，就涉及到了不同的假设，对应着不同的具体方案。

其中一个比较有影响力的方案是PAL（Position-bias Aware Learning）模型 [2]，该模型假设:

• 用户（u）点击（C，click）事件的发生，是 item(i)被用户注意到（E，examined）且 item 有一定概率符合用户偏好（relevant）两者同时满足的结果；
• 一旦 item 被用户注意到（E），那么用户点击（C）item 的概率，仅仅于 item 与用户本身有关，而与位置无关；
• item 被用户注意到的概率（E），仅仅与 item 所在的 position（p）有关, 而与 item 是否符合用户偏好无关.

总结起来就是:

其中，r_ui 是用户与 item 是否符合的真正概率，h_q 是仅依赖于位置的 item 被用户注意到的概率。令模型分别建模这两个行为，然后只取 r_ui 作为线上服务时排序的依据。

具体来说，如下图所示，在深度学习模型中，使用位置相关的特征输入构建一个 tower，其他特征输入构建另一个 tower，两个 tower 的最终输出分别经过 sigmoid 之后，相乘到一起（pCTR * ProbSeen），作为一个用于计算 loss 的输出（bCTR）。当模型训练时，样本 label 与 bCTR 计算得到 loss，用于梯度的反向传播。而在线上预估服务时，仅使用 pCTR 的预估值，因为它是去除了 position 之后的消偏结果。

图 2. PAL 模型示意图（来自文献[2]）

另一种思路类似的方案是采用级联模型（cascade model）[3]。该方案假设用户从靠前位置到靠后位置，按顺序逐个地浏览 item，那么是否点击某个位置上的 item，就与该位置以及之前所有位置上的 item 有关。令 E_q 和 C_q 分别代表 q 位置上 item 曝光和被点击的概率。级联模型描述用户行为的发生是如下的关系：

其中，第三个等式假设了用户一旦点击了处于 q 位置的 item，那么就会终止本次阅读的过程，不再往下浏览，否则用户还会继续往下浏览。该方案也假设了在每次浏览过程（session）中，最多只能有一次点击。

级联模型建模各个位置处的 E_q 和 C_q，同样使用消偏之后的 r_uq，i 来作为真实的排序依据。

曝光建模的思路有两个缺点，一是对点击行为中间过程的拆分需要大量的数据来支持模型学习，尤其是 user-item 之间的数据是较为稀疏的，在一些数据量偏少的场景中使用难度大；二是引入了人为假设，如果假设不正确，那么就会导致最终结果与预期的南辕北辙。

Exposure Bias

Exposure bias（曝光偏差）产生于需要利用用户的隐式反馈（implicit feedback）来建模的场景中。用户的显式行为（比如点击、评论、收藏）只会发生在极少数的 item 上，因为用户只会被到少量的 item 曝光到。因此，把未观察到互动行为的 item 都作为用户的负反馈，会造成偏差（positive-unlabelled问题）。另一方面，高热的 item 相对中长尾 item，获得了更多的曝光，更可能产生显式正向行为的样本。因此所观测数据中的正向行为，是非随机缺失的（Missing-not-at-Random，MNAR问题），与真实分布不一致。

因为 exposure bias 产生的直接原因是滥用了并非真实的负样本，在这些负样本中无法直接区分哪些是曝光了但用户不感兴趣了、哪些是没有实际上曝光的。那么，如果能对 item 是否曝光进行建模，然后削弱那些曝光概率低的负样本的权重，是会减轻 bias 的影响的。

具体地，训练模型学习一个 item 是否曝光给用户的概率，item 曝光的概率越高（对应地，item 在客户端展现的次数越多），那么说明 item 对应的隐式反馈样本的置信度也就越大。因此，可以将模型学习到的曝光概率赋值给损失函数里面样本的权重。

在早期朴素的 WMF 思路影响下，研究者考虑在矩阵分解的过程中，加入 item 是否曝光给用户的隐变量 O_ui， 通过模型学习到 O_ui，来更好地辅助损失函数里面的权重赋值[12]，被称为ExMF（Exposure Matrix Factorization，含有曝光的矩阵分解）方法。具体地，考虑如下的概率生成过程：

其中 N 表示高斯分布，Bern 表示伯努利分布，μ_u,i 是 item i 曝光给用户 u 的概率，U，V 分别是储存用户向量和 item 向量的矩阵，

代表用户 u 对 item i 的偏好程度；

表示在用户 u 被 item i 曝光后，是否与 item 产生显式正向行为的变量；

都是表达高斯分布方差的超参数。

要确定用户和 item 矩阵 U，V 以及曝光矩阵 μ，就需要采用极大似然法最大化以下概率：

由于是否曝光{o_u,i}是隐变量，需要采用一个类似 EM 的算法来不断更新参数，最终，可以获得 E[Ou,i|Yu,i=0]的先验概率，来对损失函数中的样本置信度赋值。

样本调权

样本调权思路，从逻辑上说是直观的：在有 bias 的场景下，某些样本携带的信息可信度小，但是不能完全丢弃它们，因此赋予较小权重，使得它们对模型整体的影响减轻；或者，同样是展现给用户的 item，某些 item 有更高的曝光几率，它们的正反馈占比更高，因此它们的正样本权重应当被削弱，而另外一些 item 的正样本权重应该被增强。

Position bias

Propensity Score（倾向性打分，下文简称 PS）是修正位置偏差的一种通用方法[4]，在计算每条样本的 loss 时，每条样本基于它所在的位置被重新赋予了权重。这个权重是和位置相关的，该方案里正样本对应的 loss 函数被修正为：

其中 U 和 I 分别是用户集合与 item 集合，

Exposure Bias

在利用隐式反馈的场景中，为了提取负反馈的信息，一般会将未观察到显式反馈的 item 一律作为负例，然后对每个负例赋予一定的置信度。对应的损失函数表达如下：

其中 S_ui 是用户 u 与 item i 之间是否有正向行为的 label；

是推荐模型 r 预估的正向行为发生概率；W_ui 是表达置信度的权重；δ 是损失函数的具体表达式（比如交叉熵代价函数）。在模型训练中的 debias 相关思路，一般是围绕如何给隐式反馈的负例赋予恰当的权重来进行的。

如果把 IPS 加入到指标的定义中，即采用如下形式的指标：

就会发现它是

其中 IPS P_u,i 形式上定义为