推荐系统概论

背景

信息过载问题的解决方案

1. 分类目录：将著名的网站分门别类，从而方便用户根据类别查找网站。

2. 搜索引擎：用户通过搜索关键词找到自己需要的信息（用户可能无法准确描述自己需求的关键词）。

   推荐系统定义

   在信息过载且用户没有明确需求的背景下，推荐系统通过分析用户的历史行为对用户的兴趣建模，从而主动给用户推荐能够满足他们兴趣和需求的信息。

   长尾理论

   在互联网的条件下，不热门的商品数量和销售额不容小觑，也许会超过热门的商品。长尾商品代表了一小部分用户的个性化需求。因此如果要发掘长尾提高销售额，就必须充分研究用户的兴趣。

   推荐系统测评

   测评方法

3. 离线实验：将用户日志划分为训练集和测试集，在训练集上训练用户的兴趣模型，在测试集上测试。

4. 用户调查：需要尽量保证测试用户分分布和真实的用户分步相同，尽量保证是双盲实验。

5. 在线实验：AB测试通过一定的规则将用户随机分成几组，并对不同组的用户采用不同的算法，通过统计评测指标比较不同的算法。

   测评指标

6. 用户满意度：通过购买率、点击率、用户停留时间等指标衡量。

1. 预测准确率：RMSE，MAE，Precision，Recall

1. 覆盖率：

推荐给所有用户的所有商品集合大小/总商品集合大小：

覆盖率100%：推荐系统将每个物品都推荐给了至少一个用户
另外，还可以通过研究物品在推荐列表中出现次数的分布描述推荐系统挖掘长尾的能力。如果这个分布较平，说明推荐系统的覆盖率较高，如果这个较陡峭，说明推荐系统的覆盖率较低。
信息熵：

熵越高说明物品流行度分布越平均，推荐系统的覆盖率越高。
基尼指数：

基尼指数越小说明物品流行度分布越平均，推荐系统的覆盖率越高。
（马太效应：强者更强，弱者更弱。PageRank具有马太效应。）

1. 多样性：

多样性描述了推荐列表中物品两两之间的不相似性。
用户u的推荐列表R(u)的多样性定义如下：

1. 新颖性：

新颖的推荐是指给用户推荐那些他们以前没有听说过的物品。评测新颖度的最简单的方法就是利用推荐结果的平均流行度。

1. 惊喜度：

推荐结果和用户的历史兴趣不相似，越让用户感到满意，就可以说推荐结果的惊喜度很高。

1. 信任度：

信任度只能通过问卷调查度量。

1. 实时性：

通过推荐列表的变化速率来评测。

1. 健壮性：

设计推荐系统时尽量使用代价较高的用户行为。比如，如果有用户购买行为和用户浏览行为，那么主要应该使用用户购买行为，因为购买需要付费，所以攻击购买行为的代价远远大于攻击浏览行为。