Preliminary Investigation of Alleviating User Cold-Start Problem in E-commerce with Deep Cross-Domain Recommender System

在本文中，作者将在线购物域与来自广告平台的信息相结合，然后应用深度学习基于这两个域的共享用户来构建跨域推荐系统，以缓解用户的冷启动问题。

一、简要信息

二、研究背景/传统方法

个性化推荐系统的主要组成部分是协同过滤，该模型旨在根据用户过去的互动（例如购买历史）来建模用户对商品的偏好。最受欢迎的CF技术是矩阵分解，它通过分解用户-项目交互矩阵将用户和项目投影到共享的潜在空间。鉴于深度学习在计算机视觉和自然语言处理方面取得的巨大成功，一些近期的工作还采用了深度神经网络（DNN）进行协同过滤（例如，神经协同过滤），或使用神经网络来建模辅助信息（例如，Word2vec）。深度神经网络具有强大的学习高阶非线性函数的能力，适合于学习用户与物品之间的复杂关系。但是，传统的MF方法和基于深度学习的方法都存在用户冷启动问题，这使得在新用户加入时很难执行准确的推荐。
注意到，个人用户越来越多地访问各种不同的在线服务。例如，用户可以在在线购物网站上购买产品，还可以在其他网站上阅读新闻。解决用户冷启动问题的有效方法是从相关领域转移知识并构建跨域推荐系统。由于在线购物网站是根据经验与广告平台进行组合以促销产品，因此在在线购物网站上购买了产品的用户的广告域中收集大量浏览历史记录并不困难。在本文中，使用“桥接用户”一词来指同时具有在线购物域中的购买历史记录和广告域中的浏览历史记录的用户。基于上述观察，作者提出了一个框架，该框架通过在其他域中引入辅助信息来构建深度跨域推荐器系统。具体来说，我们使用一种方法来通过用户在广告平台上的浏览历史来表示用户，并根据桥梁用户的购买历史来学习在线购物服务中的用户与商品之间的关系，从而提高对在广告平台上具有浏览历史记录的新用户的在线购物服务推荐性能。通过广告分发，我们甚至可以向从未使用过该服务的潜在用户准确地推荐在线购物网站上的产品。我们应用了不同类型的CF模型，并在一个真实的数据集上进行了广泛的实验，以展示整合深度学习和来自其他领域的辅助信息对于缓解用户冷启动问题的有效性。

三、相关工作

关于使用神经网络的推荐系统的先驱研究
有提出了一个两层的受限玻尔兹曼机（RBM）来建模用户对商品的明确评分。
由于神经网络的强大性能，深度学习已成为构建协同推荐系统的流行选择。
基于用户的AutoRec 旨在学习复杂的隐藏结构，以根据用户对其他项目的历史评分来重建其评分。为了避免学习总是返回与其参数相同值的标识函数，该标识函数在一般自动编码器中对看不见的数据表现非常差，已使用降噪自动编码器（DAE）从损坏的数据中学习，这涉及人为添加原始输入数据会受到一些干扰，以训练出更强大的模型，从而可以推广到看不见的数据。
尽管这些方法已经证明了神经网络对CF的有效性，但它们仅关注显式评分，这意味着由于缺乏隐式反馈，它们可能无法基于仅正例的隐式数据（例如购买历史和电影观看活动）来学习用户的偏好。关于隐式反馈，最近还有一些应用深度学习来改善推荐性能的工作。
有提出了一种带有隐式反馈的CF协同降噪自动编码器（CDAE），与DAE相比，该模型向模型的输入添加了一个额外的用户节点。有提出了一种称为神经矩阵分解（NeuMF）的最新模型，该模型将广义矩阵分解（GMF）模型与多层前馈神经网络相结合，以对用户-项目交互进行建模。但是，CF通常无法处理新用户和新项目，这被称为冷启动问题。推荐系统中冷启动问题的解决方案主要集中在新项目（与任何用户都没有交互的项目）上。
这种工作主要使用DNN来建模辅助信息，例如音乐的声学特征，项目的图像和项目的文本信息。与大多数传统的推荐系统（建立在单个域中）相反，最近的几项工作集中于组合来自多个域的数据，这被称为跨域推荐系统。该方法是利用不同域之间共享的一组用户信息。
例如，有提出了一种通过从相关新闻阅读领域转移知识来提高应用推荐性能的方法。但是，这种方法只能提高对共享用户的推荐性能，并且无法与新用户打交道。为了缓解用户的冷启动问题，有人在社交网络服务（SNS）中引入了用户-用户连接以学习新用户的嵌入。
我们看到，为在线购物站点中的所有桥梁用户重建社交网络是不切实际的。我们的工作结合了利用深度学习作为CF技术以及应用DNN提取用户和项目特征的优势。我们使用广告平台域中的信息来构建跨域推荐系统，从而减轻现实世界中电子商务网站中的用户冷启动问题。更具体地说，我们的框架为新用户执行了更准确的推荐，而无需与服务进行先前的交互。

四、主要思想

总体框架
通过用户在广告平台中的浏览历史来表示用户，而在在线购物域中则没有用户信息，并通过Word2vec通过用户的标题，字幕和描述来表示商品。然后，基于这两个域的桥梁用户来训练NeuMF，并向与在线购物域没有交互但通过广告分发在广告平台中具有足够浏览记录的用户进行推荐。图1说明了方法框架。

隐式反馈1，隐式反馈2
用户和项目的表征

因为我们的目标是向新用户或以前从未使用过该服务的人推荐在线购物领域中的产品，但是他们在广告平台上拥有丰富的浏览历史，因此仅通过广告平台中的相应浏览记录来代表用户，而不能代表用户信息，例如他们在在线购物域中的个人资料，以便将我们的推荐系统推广到其他域中的用户。创建用户和项目表示的过程如图2所示。由于不同的网站具有不同的结构，并且可用的网站太多，为每个网站运行爬网程序以收集内容是不现实的，因此我们仅提取代表性内容（标题，关键字和说明）。为了节省时间并减少收集阶段的计算成本，我们在URL域名级别收集所有内容。在为每个浏览记录获取一组文本内容之后，我们使用Mecab3进行日语文本分割，仅提取名词，动词和形容词，过滤掉无意义的词（例如停用词）。然后，我们使用预训练的Word2vec模型将每个单词转换为相应的向量，并将每个浏览记录表示为这些向量的平均值。对于每个用户，我们类似地将其浏览记录的向量平均为他/她的表示形式。我们对项目表示采用类似的过程，使用Word2vec将文本特征（例如标题，副标题和每个项目的描述）转换为相应的向量。
NeuMF的广义版本

简要介绍NeuMF的这两个重要组成部分，然后介绍NeuMF的广义版本。
GMF: https://cloud.tencent.com/developer/news/322989
https://www.jianshu.com/p/3d874edc6241
MLP: https://www.cnblogs.com/ooon/p/5577241.html
NeuMF: https://www.pianshen.com/article/9643796572/
https://zhuanlan.zhihu.com/p/115366150

五、实验评估

数据集

我们使用了包含用户浏览历史记录的广告平台数据集，以及包含2017年5月11日至2017年9月30日用户购买记录的在线购物数据集。我们将购买记录分为三部分：2017年5月11日到9月10日为训练集，2017年9月11日到17日为验证集，2017年9月18到30日为测试集。
仅使用2017年5月11日至2017年9月10日的浏览历史记录进行用户建模，以避免使用未来的信息来预测过去。由于原始数据非常稀疏，因此我们仅选择具有至少五个交互（购买）的用户作为训练集。表1中汇总了统计信息。为了仅针对新用户评估推荐效果，我们从验证和测试集中过滤掉了训练集中用户的所有购买记录。表2显示了这两个数据集的统计信息。

Baselines

• Cosine Similarity：这是建模用户项目关系的标准方法，被广泛用作推荐模型的最后一步。
• ItemPop：这是一种根据项目的受欢迎程度对其进行排名的方法。在我们的案例中，我们根据仍在销售的产品的销售量来判断受欢迎程度。这是一种非个性化的方法，可以应用于冷启动用户。
• GMF：GMF是传统MF的通用版本。这是一个浅层的神经网络模型，它通过将激活函数应用于输入矢量的按元素乘积的线性组合来学习用户与项目的交互，比传统MF更具表达力。

• DMF：DMF是最新的深度矩阵分解模型，可通过DNN将用户和项投影到低维潜在空间中，并计算这两个向量的余弦相似度作为预测结果。我们按照[27]中的结果构建具有两层的DMF，并调整其他超参数以产生最佳性能。

  Evaluation Metrics

• HitRate@5-10

• NDCG@5-10

  Settings

  所有神经网络模型都是基于PyTorch4实现的。对于除余弦相似度和ItemPop以外的所有模型，我们为每个正实例随机抽取四个负样本。根据高斯分布N（0,0.012）随机初始化要训练的参数。优化器是SGD，批量大小为256，我们测试了学习率[0.001，0.005，0.01]。我们还测试了[16,32,64,100]的最后一个隐藏层中神经元的数量。对于MLP模型的结构，我们使用塔式模式，该模式将每个连续的更高层的层大小减半。为了优化每个模型的超参数，我们根据验证集对它们进行了优化

  实验结果

  
  表3显示了HR@K的性能，K在5到10之间变化。表4显示了在相同情况下NDCG@ K的性能。由于余弦相似度的性能较弱，因此省略了它，以更好地突出其他方法的性能。根据实验结果，浅层GMF模型在除HR@6和HR@7以外的所有情况下均优于ItemPop，特别是对于NDCG的巨大改进。我们可以看到，对于所有K值，基于深度学习的模型NeuMF和DMF始终在两个指标上都比其他方法提供更好的性能，与HR@10相比，HR@10分别提高了15.267％和18.023％。最佳浅层GMF模型和ItemPop。对于NDCG@10，最佳的基于深度学习的模型NeuMF的性能大约是GMF的2.08倍，是ItemPop的3.64倍。这显示了神经方法在使用从另一个领域引入的知识来缓解用户冷启动问题的有效性。我们还可以发现NeuMF优于DMF，HR@10的性能提高了4.348％，是NDCG@10的DMF的1.04倍。它表明NeuMF比DMF更好地建模了整个用户项目交互，并且可以将更多目标项目排在排名前10位的列表中，这更加实用，因为通常向用户推荐项目列表。NDCG@K的结果也表明了这一事实，因为DMF在NDCG@5和NDCG@6上仍然比NeuMF表现更好，而在HR@5和HR@6上却不如NeuMF。

  六、总结
  

  在本文中，基于这两个域的桥梁用户，将信息从广告平台转移到了在线购物域。然后应用了不同类型的CF模型来构建跨域推荐系统，并针对在线购物领域的新用户评估了他们的推荐效果。实验结果表明，基于深度学习的模型在缓解用户冷启动问题方面远远优于其他浅层CF模型。而且，当K在5到10之间时，NeuMF可以比HR@K中的DMF更好地建模整体用户-项目交互，这表明模型结合了线性和非线性，在纯净非线性模型上，其性能优于纯非线性模型。我们的任务。将来，我们将研究不同类型的用户建模方法，例如应用TF-IDF [18]为不同的URL和单词赋予不同的权重，或者直接将URL转换为代表用户的矢量[22]，以便进一步改善我们框架的性能。此外，我们计划进一步探索时间对推荐效果的影响，并针对在线购物领域中的新商品调查这些方法的效果。此外，我们对通过转移学习方法（例如域适应）构建跨域推荐系统特别感兴趣。