耀世代理注册。点击率（CTR）预测是在线广告、推荐系统等领域的一个基础任务，主要目标是预测用户点击某个Item的概率。用户行为序列中蕴含着丰富的用户兴趣信息，这对于CTR预测至关重要。然而，大部分用户行为序列模型只从用户的点击行为中建模用户的正向兴趣，而忽视了上下文信息，即点击Item周围的其他Item，导致效果受限。

　　我们认为上下文信息在用户行为序列建模中非常重要，因此提出了一种名为深度上下文兴趣网络（DCIN）的新模型，可以对点击及点击周围的展示上下文进行统一建模，以学习用户的上下文感知兴趣。DCIN由三个关键模块组成：1）位次感知的上下文聚合模块（PCAM），通过注意力机制对展示Item进行聚合；2）反馈-上下文融合模块（FCFM），通过非线性特征交互，融合点击和展示上下文的表征；3）兴趣匹配模块（IMM），激活与目标Item相关的兴趣。

　　此外，我们还对线上性能进行了针对性优化，使得DCIN模型可以在大规模的工业广告系统上部署。我们提出的DCIN方法在离线和线上实验中都取得了显著的效果提升。目前已经在我们美团线上广告系统落地并全量，带来了1.5%的CTR提升和1.5%的RPM提升。

　　点击率（CTR）预测任务的目标是预测用户对某个Item的点击概率，这对于在线广告和推荐系统等领域至关重要[5, 16]。这里我们主要关注CTR预测中的用户行为序列建模问题。用户行为序列建模的目标是挖掘用户行为序列中蕴含的丰富的用户兴趣，更准确地理解用户的兴趣和偏好，从而提供更个性化的推荐服务。许多工作[7, 11, 13, 18, 21, 22]从用户的点击行为中捕捉用户的兴趣，大大提高了CTR模型的效果。

　　然而，一些研究[13, 15]发现用户的点击行为并不能完整地刻画用户兴趣，导致仅从用户点击行为中得到的用户表征有偏。为了解决这个问题，DFN[17]、DUMN[1]等一些开创性的工作引入了用户的未点击行为来捕捉用户的负面偏好（如不喜欢），取得了不错的效果。不过这些方法虽然引入了未点击行为，但它们将用户的点击和未点击行为分开建模，忽视了点击和未点击Item之间的交互。通常，智能手机的屏幕可以同时展示许多Item。用户的点击行为不仅由目标Item与用户兴趣之间的匹配程度决定，而且还受到展示上下文的影响[2, 12, 20]。

　　如下图1所示，当用户想买一件T恤时，如果周围的Item是智能手机、鞋子或吹风机，他可能会点击绿色T恤，因为这些Item对他来说很无聊。但是，当周围的展示Item都是T恤时，他可能会点击蓝色的那一个，因为蓝色T恤比绿色T恤更符合他的兴趣。基于上述分析，我们认为展示上下文在用户兴趣建模中也是至关重要的。

　　为了从用户的点击行为和相应的展示上下文中提取出具有上下文感知的用户兴趣表征，我们提出了深度上下文兴趣网络（DCIN）。具体来说，我们首先设计了一个位次感知的上下文聚合模块（PCAM），该模块通过注意力机制对展示Item进行聚合。同时，我们考虑到位次偏差[9, 10]，并将位次信息集成到PCAM中。

　　其次，我们通过反馈-上下文融合模块（FCFM），利用非线性特征交互将点击和相应的展示上下文的表征融合在一起，以捕捉用户的上下文相关兴趣。最后，我们使用兴趣匹配模块（IMM）来匹配与目标Item相关的行为。此外，我们还设计了相应的线上落地方案，使得DCIN模型可以在大规模的工业系统上部署。具体来说，我们的贡献如下：

　　我们强调了引入上下文信息进行用户兴趣建模的重要性。上下文信息可以帮助我们更准确、全面地捕捉用户的兴趣；

　　我们创新性地设计了序列模型DCIN，它有效地集成了展示上下文和位次信息，以获取用户的上下文感知兴趣；

　　我们进行了广泛的线下和线上实验，结果都证明了DCIN的优越性。目前DCIN已经在我们的在线广告系统中全量，并带来了1.5%的点击率（CTR）提升和1.5%的每千次展示收入（RPM）的提升。

　　DCIN的架构如下图2所示，主要包含三个模块。具体来说，我们首先设计了位次感知的上下文聚合模块（PCAM），通过注意力机制来聚合展示上下文。然后，我们通过反馈-上下文融合模块（FCFM），利用非线性特征交互融合点击和相应的展示上下文，以获取上下文感知的兴趣表征。最后，我们使用兴趣匹配模块（IMM），自适应地学习与目标Item相关的用户兴趣。

　　如图1所示，智能手机一屏通常会展示很多Item。用户的点击行为不仅由Item与他们的兴趣之间的匹配程度决定，也受到展示上下文的影响[2, 20]。然而，仅从他们的点击行为中建模用户的兴趣会忽略上下文信息，导致提取的兴趣表征有偏。为了捕获用户的上下文感知兴趣，我们设计了PCAM，它通过注意力机制为每次点击聚合展示上下文。

　　此外，用户通常倾向于点击屏幕上的位次靠前的Item（称为位次偏差[9, 10]），而不考虑相关性。因此，Item的位次同样影响用户的点击行为。我们还将位次信息集成到PCAM中，以更好地理解用户的实际兴趣。因此，PCAM可以被公式化如下：

　　以前的用户序列模型[7, 11, 13, 18, 21, 22]直接将用户的点击Item视为用户的兴趣，忽略了上下文信息。为了捕捉用户的上下文感知兴趣，我们提出了FCFM来通过非线性特征交互融合点击和相应展示上下文的表征。具体来说，FCFM是通过一个2层的MLP（多层感知器）来实现的：

　　对于工业广告系统来说，服务延迟的限制非常严格。由于我们引入了展示Item来捕获用户的上下文感知兴趣，序列长度被扩展了数十倍，而在线模型的服务延迟通常与序列长度成正比，因此直接在工业在线系统中使用DCIN会带来服务延迟的重大负担。为了解决这个问题，我们针对性地进行了一些在线 数据集

　　将展示上下文和位次信息集成到序列模型中是一种全新的探索，目前缺乏相关的公开数据集。因此，我们从在线天的工业数据集，其中包含数十亿的样本。按照惯例，我们将前30天的数据划分为训练集，最后一天的数据划分为测试集，并保留用户最近的50次点击行为，每次点击的周围20个展示Item被用来建模展示上下文。

　　我们重复所有实验5次，并报告他们的平均结果。在实验中，每个特征的嵌入维度为16。FCFM中MLP的隐藏大小和输出层分别为64/16，和1024/512/128。我们使用学习率为1e-4的Adam，Batch Size大小为3000。3.2.1 离线效果

　　实验结果如下表所示，从中我们可以发现，我们提出的DCIN在AUC上显著优于所有方法，并在基础模型上实现了21.24%的RelaImpr。如2.3节所介绍，DCIN可以处理的最长用户行为序列比RACP长28倍。为了公平比较，DCIN(Short)使用与RACP相同的序列长度，而DCIN使用我们在线广告系统中实现的更长序列。

　　具体来说，首先DIN和DIEN比Wide&Deep和DeepFM表现得更好，因为它们捕获了用户对不同目标Item的多样化和时变性兴趣。其次，DFN略微优于DIN和DIEN，因为它试图从未点击行为中捕获不喜欢的信号。第三，RACP比DFN表现得更好，因为它模拟了用户的上下文化页面兴趣。第四，我们提出的DCIN(Short)优于RACP，这出于两方面原因。一方面，RACP只模拟页面兴趣，忽略了同一页面上的不同点击也可能表明不同的兴趣，降低了模型捕获用户细粒度兴趣的能力。另一方面，RACP忽略了Item位次对用户点击行为的影响。最后，DCIN优于DCIN(Short)，因为它引入了更长的序列。

　　我们还进行了消融测试，以验证DCIN中不同组件的有效性和必要性。首先，我们在PCAM中去除位次信息，并进行DCIN(short)-w/o postition的实验。如表1所示，DCIN(short)-w/o postition的表现比DCIN(Short)差，因为Item的位次对用户的点击行为也有重要影响。

　　我们进行了严格的在线A/B测试，在线上对DCIN进行了两周的评估。与DIN（线上基线）相比，DCIN实现了CTR+1.5%、RPM+1.5%的提升。目前，DCIN已经在线部署并全量，显著提升了广告收入。

　　为了展示DCIN在上下文感知兴趣表示方面的有效性，我们随机选择10个点击Item，并分别为每个点击选择100个不同的展示上下文。然后我们提取相应的上下文感知兴趣$I_i$，并通过t-SNE

　　为了验证上下文建模的有效性，我们可视化了目标Item和在不同展示上下文下的同一点击Item之间的IMM的注意力权重。如图4所示，DIN（绿色）的权重是相同的，因为DIN只将点击行为作为输入，所以它无法区分不同的显示上下文。而DCIN可以根据不同的上下文学习到不同的权重，右图展示的Item之间的竞争更激烈，其上下文反映的用户兴趣更精确，因此DCIN学习到了更高的权重。

　　我们强调了展示上下文和位次信息对兴趣建模的必要性，并创新性地设计了序列模型DCIN。无论是在离线还是在线评估中，DCIN都取得了显著的效果提升。目前，DCIN已经在美团的在线广告系统中部署并全量，取得了很好的业务结果。