CIKM介绍
8月2日，度小满AI-Lab有三篇文章被国际学术会议ACM CIKM (2022)录用。CIKM（Conference on Information and Knowledge Management）会议创办于1992年，是信息检索、知识管理以及数据库领域的国际顶会。该会议旨在通过高质量、已实践的理论研究成果，探讨未来数据挖掘与信息检索的发展方向。
CIKM每年都有来自国内外各大公司/科研机构的顶尖实验室研究人员参与该会议。2021年，该会议共收到投稿1251篇，其中录用论文271篇，录取率仅为21.7%。
论文应用场景
度小满本次被录用的三篇论文，分别对预训练模型、用户表示、序列建模等NLP任务相关算法进行了创新。这些任务与金融行业的用户行为预测高度相关，对于风险评估，信贷获客和老客经营等信贷业务至关重要。尤其是在经济形势高度不确定的当下，用户需求与风险复杂多变，如何有效地捕捉小微等不同客群的用户行为的风格特点，并准确学习用户的复杂行为表示是建模过程中的核心挑战。
目前以上创新算法在实际业务上已落地使用。通过对用户行为序列数据进行有效预训练、建立用户-信贷产品多行为交互矩阵，能够精准识别出用户潜在的信贷需求，获客场景头部用信人数的召回率显著提升、运营场景下用户的潜在流失风险得到有效识别与防控。
论文简介
论文1：Deep View-Temporal Interaction Network for News Recommendation
用户行为与兴趣复杂多变，本文提出深度视图时间交互网络来准确学习用户表示。前人的工作大多只将项目级表示直接应用于用户建模中，视图级的信息往往被压缩为稠密的向量，这使得不同浏览项目中的不同视图无法有效的融合。在本文中，我们主要关注于用户建模的视图级信息，并提出用于推荐的深度视图时间交互网络。它主要包括两个部分，即2D半因果卷积神经网络（SC-CNN）和多算子注意力（MoA）。
SC-CNN可以同时高效地合成视图级别的交互信息和项目级别的时间信息。MoA在自注意力函数中综合了不同的相似算子，以避免注意力偏差，并增强鲁棒性。通过与SC-CNN的组合，视图级别的全局交互也变得更加充分。通过一系列的真实数据实验与严谨的理论证明，该模型可以有效地建模复杂的用户风格特点等信息，并提升基于用户历史行为的风控/获客/经营/反欺诈等模型的性能。
用户行为序列建模示意图
论文2：ExpertBert: Pretraining Expert Finding
本文主要研究如何利用用户的历史文本数据（如搜索内容，回答问题等）学习用户表示。近年来预训练技术在自然语言处理领域取得了重大进展，也开始用于用户建模任务。 然而，大多数预训练模型（PLM）是基于语料或者文档粒度，这与下游用户粒度建模任务并不一致，因此有必要设计一种更有效的预训练框架能够在用户粒度进行建模。本文提出了一种简单有效的用户级别的预训练模型，命名为ExpertBert，在预训练阶段有效地在统一了文本表示、用户建模和下游任务。
具体来说，首先将每个用户的所有历史文本进行聚合，作为用户粒度的语料，用来进行后续预训练，相比对于单条文本，这样历史聚合的方式能够使模型在预训练过程中学习用户本身的语义表征。此外，本文设计了一种标签增强的掩码语言模型(MLM)，将下游的用户建模的监督标签融合到预训练的权重学习中，进一步使预训练更接近下游用户粒度的建模任务。在社区问答专家发现公开数据集的实验结果表明ExpertBert能够超越基线算法，实现优异的性能。
ExpertBert框架图
论文3：Efficient Non-sampling Expert Finding
本文主要研究如何利用非采样技术上(Non-sampling)对用户历史行为序列建模。目前大部分的用户建模普遍依赖负采样技术来高效训练，然而负采样由于对不同的采样方法和数量高度敏感，会导致模型不稳健，同时也会损失大量有用信息。
近年来，非采样技术受到研究者的关注，相比于负采样，非采样能够有效利用全部数据，保证模型的稳定性。目前在推荐系统领域已有若干非采样的研究，有效简化了非采样全数据建模的复杂度问题， 但这些方法往往关注基于用户和商品的ID特征的单一的CTR场景，无法直接扩展到用户交互行为复杂、以及一些冷启动的任务中。
本文提出一种基于非采样的用于复杂交互行为的用户表示模型，命名为ENEF。首先对用户的历史行为（如文本内容），采用相应编码器进行特征表示，并且针对用户复杂交互行为的场景，精心设计了多任务损失函数，之后通过高效的全数据优化方法，能够在不进行负采样的情况下学习模型的权重，对数据的利用更加充分，用户的表示更加精准。通过在开源社区问答用户建模数据集上进行大量实验，结果表明ENEF在模型性能和训练效率上均达到最优效果，证明了模型在用户建模的有效性。
