- 摘要(Abstract)
- 关键词(Keywords)
- 1 引言(Introduction)
- 2 预备知识(Preliminaries)
- 3 协同过滤中的对齐和均匀性(Alignment and Uniformity In Collaborative Filtering)
- 4 直接优化对齐和均匀性(Directly Optimizing Alignment and Uniformity(DirectAU))
- 5 实验(Experiments)
- 6 相关工作(Related Work)
- 7 讨论(Conclusion)
- 附录(Appendix)
DirectAU: Towards Representation Alignment and Uniformity in Collaborative Filtering
- Chenyang Wang, Yuangqing Yu, Weizhi Ma, et al. Towards Representation Alignment and Uniformity in Collaborative Filtering[C]. In KDD 2022.
清华大学 截稿日期：2022-02-10 通知日期：2022-05-19 会议日期：2022-08-14
摘要(Abstract)
协同过滤在推荐系统的发展中起着至关重要的作用。大多数CF方法利用编码器将用户和项目嵌入到同一个表示空间中，并且通常采用贝叶斯个性化排序(BPR)损失作为学习信息编码器的目标函数。现有的研究主要集中在设计更强大的编码器(如图神经网络)来学习更好的表示。然而，很少有人致力于研究CF中表征的期望性质，这对于理解现有CF方法的理论基础和设计新的学习目标是重要的。<br /> 本文从超球面上的对齐性和均匀性的角度来度量CF中的表示质量。我们首先从理论上揭示了BPR损失与这两个属性之间的联系。然后，我们从量化对齐和均匀性两个方面实证分析了典型CF方法的学习动态，结果表明，较好的对齐或均匀性都有助于更高的推荐性能。基于分析结果，提出了一个直接优化这两个属性的学习目标DirectAU。我们在三个公共数据集上进行了大量的实验，与最先进的CF方法相比，本文提出的基于简单矩阵分解模型的学习框架具有显著的性能提升。我们的代码实现在[https://github.com/THUwangcy/DirectAU](https://github.com/THUwangcy/DirectAU)
关键词(Keywords)
1 引言(Introduction)
推荐系统已经成为用户参与网络服务的重要组成部分，如产品推荐[17]、视频推荐[4]等。为了帮助用户发现潜在的兴趣项目，协同过滤(CF)被广泛应用于个性化推荐[20]。CF的核心思想是相似的用户往往有相似的偏好。与基于内容的推荐方法相比，基于内容的推荐方法只依赖于过去的用户行为来预测用户对候选项目的偏好。CF的简单性和有效性使其成为推荐系统中的规范技术[22]。<br /> 大多数CF方法利用编码器将用户和项目嵌入到共享空间，然后优化目标函数以学习信息丰富的用户和项目表示[16]。最简单的编码器可以是将用户和项目ID直接映射到嵌入[10]的嵌入表，并且通常采用贝叶斯个性化排名(BPR)[19]作为目标函数来区分积极的交互和未观察到的交互。已有的研究主要集中在设计更强大的编码器来建模用户和项目之间的复杂协同信号。具体地说，近年来出现了基于神经网络的交互编码器，如多层感知器(MLP)[8]、注意力机制[3]、图神经网络(GNN)[7，28]等。同时，最近的一些工作指出，如今复杂的CF编码器实际上导致了边际性能改善[16]。因此，研究人员还开始研究除了常见的成对BPR损失之外的其他目标函数(例如，InfoNCE损失[34]，余弦对比损失[16])，这些目标函数已被证明比复杂编码器带来更稳健的改进。<br /> 然而，很少有人致力于研究由编码器导出的用户和项目表示的期望属性。这对于证明现有CF方法背后的基本原理并设计有利于这些特性的新的学习目标是重要的。直观地说，positive-related的用户-项目对的表示应该彼此接近，并且每个表示应该尽可能多地保留关于用户/项目本身的信息。假设所有的表示都是正则化的，这两个性质可以被称为1)单位超球面上的对齐和2)均匀性[27]。要学习信息丰富的用户和项目表示，对齐和均匀性都是非常重要的。如果只考虑对齐，则通过将所有用户和项目映射到相同的嵌入，很容易实现完全对齐的编码器。可以看出，CF中现有损失函数的目标是避免这种微不足道的常数(即，保持均匀性)，同时进行优化以获得更好的对齐。在实践中，负样本通常被用来实现这一目标。例如，BPR损失[19]将每个正交互与随机采样的负项目配对，并且鼓励正交互项目的预测得分高于负项目。<br /> 在这项工作中，我们分析了对比表征学习的最新进展[5，27]启发CF的对齐和均匀性特性。我们首先从理论上证明了BPR损失实际上有利于这两个特性，并且完全对齐和均匀的编码器形成了BPR损失的精确最小化。然后，我们通过文献[27]中提出的相应量化指标，从对齐和均匀性两个方面对典型CF方法的学习动态进行了实证分析。我们发现，不同的CF方法表现出不同的学习轨迹，更好的对齐或更好的均匀性有利于表征质量的提高。例如，最简单的BPR快速收敛到有希望的对齐，并且主要是在之后改进均匀性。其他高级方法通过各种技术实现更好的对齐或均匀性，例如困难负样本和基于图的编码器，从而相应地带来更好的性能。基于分析结果，我们提出了一个直接优化这两个属性的学习目标DirectAU。在三个公开的真实世界数据集上进行了广泛的实验。实验结果表明，一个简单的基于矩阵分解的编码器(即嵌入表)优化了所提出的DirectAU损失，与最新的CF方法相比，获得了显著的改进(高达14%)。<br /> 这项工作的主要贡献可以概括如下：
我们从理论上证明了完全对齐和均匀编码器构成了BPR损失的精确最小化。我们还从量化对齐和均匀性两个方面对典型CF方法的学习动态进行了实证分析。
- 基于分析结果，提出了一个简单而有效的直接优化这两个特性的学习目标，称为DirectAU。
在三个公开数据集上的大量实验表明，该算法在对齐和均匀性之间取得了很好的平衡。在优化DirectAU目标时，即使是最简单的基于矩阵分解的编码器，与最先进的CF方法相比，也能显著提高性能。
2 预备知识(Preliminaries)
在这一部分中，我们首先阐述了协同过滤问题。然后，我们介绍了如何基于自监督学习的最新进展来衡量对齐和均匀性[27]。
2.1 协同过滤(Collaborative Filtering)
设和分别表示用户和项目集。给定一组观察到的用户-项目交互，CF方法旨在推断每个未观察到的用户-项目对的分数，该得分指示用户倾向于与项目交互的可能性有多大。然后，将根据预测推荐每个用户得分最高的项目。<br /> 通常，大多数CF方法使用编码器网络，其将每个用户和项目映射到低维表示，(是潜在空间的维度)。例如，矩阵分解模型中的编码器通常是一个嵌入表，它根据用户和项目的ID将每个用户和项目直接映射到一个潜在向量。基于图的模型中的编码器进一步利用邻域信息。然后，预测分数被定义为用户和项目表示之间的相似度(例如，点积,)。至于学习目标，大多数研究采用成对BPR[19]损失来训练模型：<br /> (1)<br />其中是随机采样的负项目(negative item)，用户没有与之交互。该损失函数旨在优化目标项目比随机负项目获得更高分数的概率。
2.2 对齐和均匀性(Alignment and Uniformity)
关于无监督对比表征学习的研究[5，27]发现，表征的质量与两个关键属性高度相关，即对齐和均匀性。给定数据的分布和正对的分布，对齐直接定义为正对归一化嵌入之间的预期距离：<br /> (2)<br />其中表示正则化表示。另一方面，均匀损失被定义为平均成对高斯势的对数：<br /> (3)<br /> 这两个度量与表征学习的目标很好地一致：正实例应该彼此接近，而随机实例应该分散在超球面上。在这项工作中，我们将BPR损失与这两个指标联系起来，并使用它们来分析典型CF方法的学习动态。
3 协同过滤中的对齐和均匀性(Alignment and Uniformity In Collaborative Filtering)
在这一部分中，我们首先从理论上证明BPR损失有利于超球面上的表示对齐和均匀性。然后，我们实证地观察了这两个属性在不同CF方法的训练过程中是如何演变的。
3.1 理论分析(Theoretical Analyses)
假设正(positive)用户-项目对的分布为，并且用户和项目的分布分别表示为和， 我们首先定义CF中对齐和均匀性的最优概念如下：<br />Definition 1 (完全对齐Perfect Alignment) _if__a.s. over __，_则编码器完全对齐<br />Definition 2 (完全均匀性Perfect Uniformity) _if _的分布和的分布是上的均匀分布,则编码器是完美均匀性<br /> 这里是维单位球的表面。注意，通过将所有输入映射到相同的表示，可以容易地实现完全对齐的编码器，代价是最差的均匀性。考虑到实际应用中用户/项目的数量通常很大而很小，也可以实现完全均匀的编码器。下面的定理表明，如果可以实现完全对齐和均匀性，则BPR损失有利于这两个特性。<br />定理 1 如果存在完全对齐和均匀性的编码器，则他们形成的BPR损失精确最小化。<br />Proof : 假设相似性函数是余弦相似性(用户/项目表示被归一化)，我们有<br /><br /><br /> 根据完全对齐的定义，当且仅当完全对齐时，方程式(4)中的等式被满足。根据[27]中的引理2，当且仅当由引起的特征分布是(是完全均匀的)时，等式(5)被满足。因此，是一个独立于的常量，当且仅当完全对齐且均匀时，等式才满足相等。<br /> 考虑到第2.2节中的量化指标已被证明与完全对齐和均匀性[27]很好地对齐，该定理表明BPR损失确实有利于较低的和。接下来，我们将从对齐和均匀性的角度实证性地展示不同CF方法的学习动态。
3.2 经验观察(Empirical Observations)
图1
和
在训练过程中的趋势（左）和优化Beauty数据集的BPR损失时的学习曲线(右)
我们使用BPR损失来训练Beauty数据集的矩阵分解(MF)模型。这里的编码器是一个简单的嵌入表，它将ID映射到嵌入。图1显示了这两个属性，BPR损失和推荐性能(NDCG@20)在训练期间是如何变化的。首先，我们发现随机初始化的编码器对齐不准，但均匀性很好(初始均匀性损失很低)。随着BPR损失的优化，对齐损失迅速降低，导致均匀性损失增加。随着对齐损失变得稳定，均匀性损失开始降低。总体而言，随着更好的对齐和均匀性的实现，推荐性能也得到了提高。这从经验上验证了3.1节中的分析，即BPR损失确实针对较低的
和
进行了优化。
除了具有BPR损失的最简单的MF编码器(BPRMF)之外，不同的CF方法可能具有不同的学习轨迹。我们进一步可视化了4种典型CF方法在Beauty数据集上的每个epoch的对齐和均匀性指标，如图2所示。BPRMF表示具有如上所述的BPR损失的最简单的MF编码器。BPR-DS[18]通过采用动态负采样策略来增强BPRMF，该策略使采样概率与预测得分成正比。LGCN[7]使用图神经网络(GNN)作为编码器，并使用标准的BPR训练策略。ENMF[2]利用了所有的负面交互作用，并设计了一种有效的方法来优化均方误差(MSE)损失。图2中的星号表示不同模型的聚合点，我们在括号中注释NDCG@20。我们主要有以下几点观察：
图2 训练期间不同CF方法的
图。我们将这两个指标在每个epoch可视化，星星表示聚合点。我们还在括号中为每个模型标注了NDCG@20(数字越大越好)。对于
和
，数值越小越好。BPR的优化更注重均匀性(区分积极和消极的交互)，但不会持续推动积极的用户-项目对更接近。
- BPR-DS采样更困难的负项目，从而导致较低的均匀性损失和较好的性能。但困难负样本使正用户-项目对难以对齐(更高的对齐损失)。
- LGCN聚合邻域信息，因此即使在开始时也实现了较好的对齐。这解释了为什么LGCN通常在BPR损失方面表现良好。GNN编码器结构具有良好的对齐性能，而BPR损失具有较好的均匀性。虽然训练过程损害了对齐，最终的均匀性比BPRMF差，但最终的对齐仍然是显著的，这导致了更好的性能。
与上述的成对方法不同，ENMF直接优化MSE并利用所有负交互，将正用户-项目对的得分推至1，但不只是大于BPR之类的负面对。这种基于整体数据的训练在很大程度上有利于对齐的优化，同时保持良好的均匀性，因此产生了优异的性能。但这种逐点优化也会损害后期训练阶段的均匀性。
根据以上的观察，我们发现不同的CF方法在对齐和均匀性方面具有不同的学习动态。与标准的BPRMF相比，BPR-DS的均匀性更好，但对齐较差；LGCN的对齐更好，但均匀性较差，而BPR-DS和LGCN的推荐性能都高于BPRMF。ENMF进一步获得了最好的性能，同时具有良好的对齐和均匀性。这表明CF中的用户和项目表示确实偏爱这两个属性。实现更好的对齐或均匀性都有助于更高的推荐性能，同时优化它们可能是有益的。
4 直接优化对齐和均匀性(Directly Optimizing Alignment and Uniformity(DirectAU))
上述分析表明，对齐和均匀性对于学习信息用户和项目表征是必不可少的。这促使我们设计了一个新的学习目标，直接优化这两个属性以获得更好的推荐性能，称为DirectAU。<br /><br />**图3 提出的DirectAU概述**。我们直接优化1)正用户-项目对的表示对齐和2)用户/项目的批次内均匀性<br /> 图1展示了提出框架的整体结构。输入的正用户-项目对首先被编码为嵌入，并被正则化为超球面。我们使用一个简单的嵌入表(将用户/项目ID映射到嵌入)作为默认编码器。然后，我们对CF中的对齐和均匀性进行如下量化：<br /> (6)<br /> 对齐损失推高了正相关用户-项目对的表示之间的相似性，而均匀性损失衡量了表示在超球面上的分散程度。由于用户和项目的数据分布可能不同，因此我们分别计算用户表示和项目表示之间的均匀性，这更适合分别测量。最后，我们使用一个折中的超参数来联合优化这两个目标：<br /> (7)<br /> 权重控制所需的均匀程度，这取决于每个数据集的特征。DirectAU的学习算法可以在附录中找到。<br /> 请注意，以前的CF方法通常依赖负采样来区分正交互和负交互，而DirectAU不需要额外的负样本，只使用正用户-项目对的输入批次。基于批次内表示之间的成对距离计算均匀性损失。使用批量实例使其更符合用户和项目的实际数据分布(即)，这已被证明有助于减少推荐系统中的曝光偏差[34]。与现有的CF方法相比，DirectAU在没有负样本的情况下易于实现，并且只有一个超参数需要调整(不需要考虑采样策略中负样本的数量)。这使得DirectAU很容易与各种应用程序场景一起使用。对于分数函数，我们使用用户和项目表示之间的点积来计算排名分数并进行推荐，这在文献[7，8，25]中很常见。
5 实验(Experiments)
在本节中，我们在三个公共数据集上进行了大量的实验，以验证DirectAU的有效性。我们首先描述了实验设置(第5.1节)，并将DirectAU的整体Top-K推荐性能与其他最先进的CF方法进行了比较(第5.2节)。然后，我们给出了仅优化对齐或均匀性时的学习曲线，以验证这两个属性的重要性(5.3节)。我们还研究了DirectAU与其他CF编码器整合时的性能(第5.4节)。最后，我们给出了DirectAU的效率分析(第5.5节)和参数敏感性分析(第5.6节)。
5.1 实验设置(Experimental Settings)
5.1.1 数据集(Datasets)
我们在真实世界的场景中使用三个公共数据集。所有的数据集都是公开的，并在以前的研究中被广泛采用[7，23，24，28]。
Beauty：这是从Amazon抓取的一系列产品评论数据集之一。数据按顶级产品类别拆分为单独的数据集。
- Gowalla：这是从Gowalla获得的签到数据集[13]，用户通过签到来共享他们的位置。
Yelp2018：这是一个商业推荐数据集，包括餐厅、酒吧等。我们使用2018年1月1日之后的交易记录，遵循之前的工作[7，28]。
为了对数据集进行预处理，我们删除了重复的交互，并确保每个用户和项目至少有5个关联的交互。这一策略在以前的工作中也被广泛采用[12，26]。数据集经过预处理后的统计汇总如表1所示。<br />**表1 数据集的统计**<br />
5.1.2 基线(Baselines)
我们将DirectAU的性能与各种最先进的CF方法进行比较：
BPRMF[19]：这是一种典型的负采样方法，它使用成对排名损失来优化MF，其中负项目是从项目集中随机采样的。
- BPR-DS[18]：该方法通过采用动态采样策略来增强BPRMF，其中预测分数较高的负项更有可能被采样。
- ENMF[2]：这是一个基于MF的模型，使用所有未观察到的相互作用作为负样本，没有负采样。引入最小化MSE损失的有效学习算法从整个数据中学习。
- RecVAE[21]：该方法基于重构部分观测用户向量的变分自编码器，引入了几种技术来改进M-VAE[14]。
- LGCN[7]：这是一个用于CF的简化图卷积网络，它在用户-项目二分图上的邻居之间执行线性传播。
- DGCF[29]：这是一种最先进的基于GNN的方法，它在LGCN之上引入了解缠，它对意图感知交互图进行建模，并鼓励不同意图的独立性。
- BUIR[12]：这是一种最先进的无负样本的CF方法，它只通过正交互来学习用户和项目嵌入。
- CLRec[34]：这是最近提出的一种基于对比学习的方法，它采用InfoNCE损失来解决推荐系统中的曝光偏差。
5.1.3 评估方案(Evaluation Protocols)
按照常见的做法[7，8，28]，对于每个数据集，我们将每个用户的交互随机分为训练/验证/测试集，比率为80%/10%/10%。为了评估TOP-K推荐的性能，我们使用了召回率和归一化折扣累积收益(NDCG)作为评估指标。Recall@K衡量在推荐结果中检索到多少目标项目，而NDCG@K则进一步关注它们在排名列表中的位置。注意，我们考虑所有项目的排序列表(除了用户历史中的训练项目)，而不是像最近的工作[11]所提出的那样，将较小的随机项目集合与目标项目一起排序。我们用不同的随机种子重复每个实验5次，并报告平均分数。
5.1.4 实施细节(Implementation Details)
我们使用RecBole [33]框架来实现公平比较的所有方法。Adam用作默认优化器，最大epochs设置为300。如果验证数据集上的NDCG@20持续下降10个epoch，则采用提前停止。我们将所有方法的嵌入大小设置为64，学习速率设置为。Beauty数据集的训练批次大小设置为256，其他两个数据集的训练批大小设置为1024。权重衰减在之间调整。DirectAU中的默认编码器是一个简单的嵌入表，它将用户/项目ID映射到嵌入。DirectAU中的权重在[0.2，0.5，1，2，5，10]内调整。对于基线特定的超参数，我们在原始论文建议的范围内对它们进行调整。所有参数均通过Xavier初始化进行初始化。
5.2 总体性能(Overall Performance)
表2 在三个数据集上的Top-K推荐性能。最佳结果用粗体标出，最佳基线用下划线标出。上标∗∗表示DirectAU与最佳基线的配对t检验的
≤为0.01(相对改进表示为Improv)。
表2显示了不同基准CF方法和我们的DirectAU的性能。从实验结果来看，我们主要有以下几点观察。
第一，考虑到大多数基线来自近两年的研究，直接优化对齐和均匀性会产生如此令人印象深刻的性能改进，这是令人惊讶的。这表明这两个属性与CF的表示质量非常一致，而现有的模型可能不能很好地处理对齐和均匀性，这导致了较差的结果。与最先进的CF方法相比，DirectAU不仅在概念上简单，而且在经验上也有效。
第二，我们发现最佳基线在不同的数据集中是不同的。基于CLRec的对比学习在Beauty上是有效的；而基于GNN的DGCF在Gowalla上具有优势；ENMF在最大的数据集Yelp2018上取得了显著的性能。这表明，不同的CF模型的特点可能适合不同的应用场景。相反，DirectAU能够直接调整对齐和均匀性之间的平衡，从而在所有三个数据集上实现始终如一的最佳性能。
第三，比较不同类型的基线，具有更复杂编码器的方法并不总是对性能有利。最复杂的DGCF模型只在Gowalla上最有效，但通常需要花费更多的时间来训练。不同的是，专注于学习目标的方法(例如，ENMF、CLRec)更稳健，通常会产生有希望的结果。这表明了设计合适的损失函数而不是复杂的编码器的重要性。DirectAU的有效性还表明，理解CF中表示的期望属性是有用的，这有助于设计更强大的损失函数。
图4 不同CF模型在Beauty数据集的
图。对于
和
，数字越小越好。括号中的颜色和数字表示NDCG@20。
此外，在图4中，我们显示了不同的CF方法的对齐和均匀性，以及它们在Beauty数据集的推荐性能。总体而言，我们可以看到，具有更好的对齐和均匀性的方法获得了更好的性能。由于这两个属性之间的平衡，ENMF和CLRec成为两个强基线。DGCF主要通过在表示中引入解缠来提高LGCN上的均匀性。最近的新方法BUIR在没有负样本的情况下取得了令人满意的结果，这主要是由于其在对齐方面的优越性。但由于没有负样本的监测信号，BUIR的均匀性较差。与最先进的CF方法相比，DirectAU实现了最低的对齐和均匀性损失，并产生了最佳的性能。这验证了对齐和均匀性对CF中表示质量的因果影响。5.3 对齐和均匀性损失的重要性(Importance of Both Alignment and Uniformity Losses)
为了说明这两个属性对于学习信息编码器都很重要，图5给出了1)仅优化对齐损失、2)仅优化均匀性损失、3)在Yelp2018优化两个损失的学习曲线。如果仅考虑对齐(左)，则编码器实现完全对齐(接近0)，但均匀性变差。因此，推荐性能在开始时只提高了一点点，然后收敛到较差的结果。如果只考虑均匀性(中间)，编码器将保持均匀性(随机初始化的嵌入非常均匀)，但不会改进对齐。因此，性能甚至比只优化还要差。不同的是，当同时优化对齐和均匀性(右)时，编码器在保持良好的均匀性的同时，不断地改进对齐。结果，表示质量稳步提高，提高了推荐性能。这些趋势表明了在CF中解决对齐和均匀性的重要性。<br /><br />图5 仅优化对齐损失(左)、仅优化均匀性损失(中)以及在Yelp2018优化两个损失(右)的学习曲线。被指数化，以获得更好的可视化效果。当仅优化对齐和均匀性中的一个时，编码器产生较差的性能。这两个属性对于学习高质量的用户和项目表示都很重要。
5.4 与其他CF编码器整合(Integration with Other CF Encoders)
在主要实验中(表2)，我们使用简单的MF编码器(即嵌入表)来优化DirectAU损失。这就提出了这样一个问题：直接优化其他CF编码器的对齐和均匀性是否也是有益的。这里，我们分别使用不同层数的MF和LGCN作为交互编码器。表3显示了这些方法的性能及其原始损失和相应的DirectAU损失变体。LGCN-X是指具有X个GNN层的LGCN编码器。我们可以看到，DirectAU一直在为每个编码器带来显著的改进。此外，当与性能更强大的编码器(如LGCN-2)整合时，DirectAU比默认的MF编码器具有更高的性能。这表明了所提出的学习框架的泛化能力。同时，我们发现对于最简单的MF编码器来说，相对改进是最显著的。在Gowalla数据集中，令人印象深刻的是，MF+DirectAU平均比原始MF改进了59.2%；而LGCN-2+DirectAU只带来了大约8.9%的改进。这验证了选择合适的学习目标在CF中的重要性。在DirectAU损失的帮助下，简单的MF编码器也可以学习高质量的表示，从而获得与复杂的LGCN-2编码器相当的结果。考虑到有效性和效率的平衡，在下面的分析中，我们仍然选择MF作为默认编码器。<br />**表3 不同编码器与提出的DirectAU损失整合时的性能比较**<br />
5.5 效率分析(Efficiency Analyses)
这里我们比较了DirectAU与BPRMF和其他两种最先进的CF模型，即ENMF和LGCN的训练效率，这两种模型在各自的类别中都是相对有效的。在表4中，我们在最大的数据集Yelp2018上呈现了每个epoch的平均训练时间、要收敛的epoch数以及总训练时间。效率实验是在同一台机器上进行的(3.5 GHz的Intel Core 12核CPU和单NVIDIA GeForce GTX 1080 Ti GPU)。我们在相同的实现框架下比较不同的方法，并将批次大小设置为256以确保公平性。结果表明，ENMF在每个epoch的训练时间方面是最有效的，这是由于专门设计的学习算法所致。基于图的LGCN由于在每次迭代中的邻域聚和，即使为了简单起见执行线性传播，LGCN的速度也要慢得多。与BPRMF和ENMF相比，我们的DirectAU每个epoch需要更多的训练时间，这主要是因为计算均匀性损失。然而，DirectAU的收敛速度一般较快，总时间与BPRMF和ENMF相似，比LGCN快得多。因此，DirectAU因其简单性而相对高效，我们相信性能收益在实践中证明了运行时成本是合理的。<br />**表4 在Yelp2018效率比较**，包括每个epoch的平均训练时间、要收敛的epoch数量、总训练时间(s：秒、m：分钟、h：小时)。<br />
5.6 参数敏感度(Parameter Sensitivity)
DirectAU引入了一个超参数来控制均匀性损失的权重。值得注意的是，这是为DirectAU调整的唯一超参数，它不像以前的CF方法那样依赖负采样。因此，不需要考虑负样本的数量和采样策略。这使得DirectAU易于在实际应用程序中使用。图6显示了在三个数据集上更改此超参数时性能如何变化。我们可以观察到类似的趋势，即性能先上升后下降。不同的数据集适合不同程度的均匀性，这取决于数据集的特性。我们发现，对于每个用户平均交互次数更多的数据集(即Gowalla，Yelp2018)，更高的均匀性权重可能更好，在这种情况下，由于对齐损失，表示可能更有可能被推得更进。请注意，的范围不受0.2到10的限制，在实践中可能需要更大的范围和细粒度的步骤。<br /><br />**图6 关于DirectAU中****权重的参数敏感度**
6 相关工作(Related Work)
6.1 协同过滤(Collaborative Filtering)
协同过滤在推荐系统中起着重要的作用[20]。CF的核心思想是相似的用户往往有相似的偏好。与基于内容的过滤方法不同，CF不依赖于用户和项目配置文件来进行推荐，因此可以灵活地在不同的领域工作。CF的主要方法之一是潜在因素模型，它从观察到的交互中学习潜在的用户和项目表示。未观察到的用户-项目对的预测分数由用户和项目表示之间的相似性(例如，点积)导出。传统的方法主要基于矩阵分解(MF)[9，10]。随着神经网络的发展，神经CF模型开始出现，以学习更强大的用户/项目表示[8，32]。此外，图神经网络近年来引起了越来越多的关注，许多基于图的CF模型被提出[7，28-30]。将观察到的用户-项目交互看作一个二部图，图神经网络帮助捕获高阶连接信息。<br /> 已有的研究主要集中在编码器的模型结构上，而对学习目标和负采样策略等影响最终性能的因素关注较少。最近的一些工作[2，12，15，16]开始研究替代学习范式。例如，ENMF[2]基于全部数据设计了一种有效的方法来优化MSE损失。BUIR[12]提出了一种新的非对称结构来从仅为正的数据中学习。CLRec[15]采用对比学习中的InfoNCE损失来解决推荐系统中的曝光偏差。在这篇文章中，我们还关注CF中的学习目标。不同的是，我们首次从对齐和均匀性的角度研究CF中表示的期望性质。基于分析结果，提出了一种新的直接优化这两个特性的损失函数。
6.2 对比表征学习中的对齐与均匀性(Alignment and Uniformity in Contrastive Representation Learning)
近年来，无监督对比表征学习取得了很大的成功[6]。这些文献中的研究通常旨在学习基于自监督任务的单位超球面上的信息表征。最近的工作[27]确定了与表示质量有关的两个关键属性，即对齐和均匀性。相似的实例应该具有相似的表示(对齐)，并且表示的分布最好是保留尽可能多的信息(均匀性)。对齐通常很容易实现(例如，将所有输入映射到相同的表示)，但很难同时保持均匀性。可以看出，以前的表示学习策略以不同的方式保持均匀性，例如区分负样本[5]和特征去相关[31]。直接匹配单位超球面上的均匀采样点也能提供良好的表示[1]。然而，据我们所知，目前仍缺乏对CF的对齐和均匀性的深入研究。这项工作从理论上说明了典型的BPR损失与这两个特性之间的联系。此外，我们对不同CF方法的学习动态的分析有助于理解现有CF习方法的理论基础，并设计新的学习目标。
7 讨论(Conclusion)
在这篇文章中，我们研究了协同过滤(CF)中表示的期望性质。具体地说，受对比表征学习的最新进展启发，我们提出从对齐和均匀性的角度来衡量对比表征的质量。我们首先从理论上揭示了通常采用的BPR损失与这两个特性之间的联系。然后，我们从对齐和均匀性两个方面对典型CF方法的学习动态进行了实证分析。我们发现，不我们发现不同的方法在不同的方面可能是好的，而更好的对齐或更好的均匀性都会导致更高的推荐性能。在分析结果的基础上，提出了直接优化这两个特性的损失函数，并通过实验验证了该函数的有效性。使用所提出的损失函数的简单矩阵因式分解模型与最先进的CF方法相比获得了更好的性能。我们希望这项工作能够通过对表征质量的深入分析来启发CF社区更多地关注学习范式。<br /> 在未来，我们将研究其他也有利于对齐和均匀性的学习目标，以进一步提高有效性和效率。
附录(Appendix)
在附录中，我们首先给出了所提出的DirectAU的学习算法。然后，我们详细说明了在CF中测量整个学习嵌入时对齐和均匀性损失的计算。
A.1 DirectAU的学习算法(Learning Algorithm of DirectAU)
算法1显示了DirectAU的学习算法。还给出了计算训练过程中对齐和均匀性损失的PyTorch风格伪代码，以便于再现性。<br />
A.2 对齐和均匀性计算(Alignment and Uniformity Calculation)
根据我们对CF中对齐和均匀性的定义，即等式(6)，用于计算对齐损失的用户-物品对应从正交互作用s的分布中采样，而计算均匀性损失的用户-用户(物品-物品)对应从相应的用户/物品分布中采样。给定所有用户和项目的学习嵌入，对齐损失可以直接计算如下：<br /> (8)<br />其中是第2.1节中提到的观察到的用户-项目交互的集合。我们只需要遍历中的所有对，时间复杂度为。<br /> 至于均匀度的计算，一种简单直观的方法是采样,和,，但这不符合和的定义。请注意，训练期间均匀性损失的计算遵循实际的和，因为训练批次是基于正交互构建的。在测量学习嵌入的整体均匀性时，我们还应该从中采样两个交互，并保留用户/项目侧作为输入对，这确保从相应的分布中采样和：<br /> (9)<br /> 同时，这种计算方法耗时且包含许多冗余计算。我们需要遍历整个交互集两次，时间复杂度为，这在实践中通常是很难处理的。为了解决这个问题，我们设计了一种方法，通过直接从用户/项目集合中采样来计算均匀性损失，并结合流行度加权策略来计算均匀性损失：<br /> (10)<br />其中返回中相关交互的数量(即流行度)。和分别是归一化因子。很容易证明等式(9)和等式(10)是完全等价的，而公式(10)在很大程度上降低了计算成本，因为的规模通常比小得多。这样，我们可以有效地测量学习到的嵌入的对齐和均匀性。<br /> 这种流行度加权策略还明确地表明，均匀性损失更关注热门用户/项目之间的距离，这与预期不谋而合。那些受欢迎的用户和物品更有可能排列得非常接近，鼓励他们分散在超球面上是合理的。
若有收获，就点个赞吧
0 人点赞
