首页  思维导图  详情

推荐系统实践

2019-04-12 15:49:26   51  举报





AI智能生成

为你推荐

查看更多



推荐系统实战总结

作者其他创作

大纲/内容

推荐系统实践

好的推荐系统

信息过载

当系统的输入量超过其处理能力时，会发生信息过载

无论是信息消费者还是信息生产者都遇到了很大的挑战：作为信息消费者，如何从大量信息中找到自己感兴趣的信息，是一件非常困难的事情。作为信息生产者，如何让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情

解决方法

分类目录

无法充分覆盖

搜索引擎

需用户提供准确关键词

推荐系统

不需要用户提供明确的需求，而是通过分析用户的历史行为给用户的兴趣建模，从而主动给用户推荐能够满足他们兴趣和需求的信息

解决的问题

解决信息过载问题方法之一，联系用户和信息（物品）

一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，实现信息消费者和信息生产者的双赢

充分研究用户兴趣，更好地发掘物品的长尾

个性化推荐成功的两个条件

存在信息过载

用户大部分时候没有特别明确的需求

分类

社会化推荐（social recommendation）

基于内容的推荐（content-based filtering）

基于协同过滤的推荐（collaborative filtering）

构成

前台展示页面

提供用户反馈

后台的日志系统

推荐算法系统

应用

电子商务

亚马逊的个性化推荐

电影和视频网站

Netflix

YouTube

个性化音乐网络电台

社交网络

利用用户的社交网络信息对用户进行个性化的物品推荐

信息流的会话推荐

给用户推荐好友

Facebook数据资源

用户之间的社交网络关系

用户的偏好信息

个性化阅读

基于位置的服务

基于位置给用户推荐离他最近的且他感兴趣的服务

基于位置从属或相关的信息

信息消费的位置和信息服务的位置

信息消费者之间的位置

信息服务者之间的位置

指标

距离

所属地域

所在位置特殊信息

个性化广告

个性化广告投放

上下文广告

搜索广告

个性化展示广告

个性化广告投放和狭义个性化推荐的区别是，个性化推荐着重于帮助用花找到可能令他们感兴趣的物品，而广告推荐着重于帮助广告找到可能对它感兴趣的用户

推荐系统评测

用户，物品提供者，提供推荐系统的网站三者共赢

好的推荐系统不仅仅能够准确预测用户的行为，而且能够扩展用户的视野，帮助用户发现那些他们可能会感兴趣，但却不那么容易发现的东西

推荐系统实验方法

离线实验

离线实验的指标和实际的商业指标存在差距

用户调查

解决预测准确率和用户满意度之间存在很大差别

在线实验

上线AB测试

通过一定的规则将用户随机分成几组，并对不同组的用户采用不同的算法，然后通过统计不同组用户的各种不同的评测指标比较不同算法

切分流量防止测试干扰

评测指标

用户满意度

从不同的侧面询问用户对结果的不同感受，而非是否满意

购买率，用户反馈，点击率，用户停留时间，转化率等度量用户满意度

在线指标

预测准确率

推荐系统预测用户行为的能力，一种离线指标

评分预测

预测准确度：真实评分和预测评分之间的均方误差（RMSE）和平均误差（MAE）

RMSE加大了对预测不准的用户物品评分的惩罚，因而对系统的评测更加苛刻

TopN推荐

网站在提供推荐服务时，给用户一个个性化的推荐列表，这种推荐叫TopN推荐

预测准确度：通过准确率（precision）/召回率（recall）度量

召回率和准确率

为了全面评测TopN推荐的准确率和召回率，一般会选取不同的推荐列表长度N，计算出一组准确率/召回率曲线

评分预测和TopN的对比

覆盖率

描述一个推荐系统对物品长尾的发掘能力，覆盖率是一个内容提供商会关心的指标

通过研究物品在推荐列表中出现次数的分布描述推荐系统挖掘长尾的能力，分布较平，覆盖率高，分布陡峭，覆盖率低

信息熵

基尼系数

马太效应

多样性

多样性和相似性是对应的

如果用内容相似度描述物品间的相似性，我们就可以得到内容多样性函数，如果用协同过滤的相似度函数描述物品间的相似性，就可以得到协同过滤的多样性函数

新颖性

给用户推荐那些他们之前没有听说过的物品，实现新颖性最简答的方法：把那些用户之前在网站中对其有过行为的物品从推荐列表中过滤掉，例如：他们已经看过的，打过分或者浏览过的视频等

评价新颖性最简答的方法是利用推荐结果的平均流行度，越不热门的物品越可能让用户觉得新颖

惊喜度

推荐结果和用户的历史兴趣不相似，但却让用户觉得满意，那么就可以说推荐结果的惊喜度很高

提高惊喜度需要提高推荐结果的用户满意度，同时降低推荐结果和用户历史兴趣的相似度

信任度

用户对推荐结果的信任度

提高信任度方法：增加推荐系统的透明度；考虑用户的社交信息

评价只能通过问卷调查

实时性

针对物品（新闻，微博）具有很强的时效性

推荐系统需要实时地更新推荐列表来满足用户新的行为变化

推荐系统需要能够将新加入系统的物品推荐给用户

健壮性

衡量一个推荐系统抗击作弊的能力

算法健壮性的评测主要利用模拟攻击

设计推荐系统时尽量使用代价比较高的用户行为，如用户购买行为，用户浏览行为

商业目的

商业目的和网站的盈利模型息息相关

各个指标的总结

评测维度

用户维度

用户的人口统计学信息

活跃度

是不是新用户

物品维度

物品的属性信息

流行度

平均分

是不是新加入的物品

时间维度

季节

工作日还是周末

白天还是晚上

目的：从多个方面了解推荐系统性能

利用用户行为数据

基于用户行为分析的推荐算法是个性化推荐系统的重要算法，学术界一般将这种类型的算法称为协同过滤算法

用户行为数据简介

日志

原始日志

会话日志

展示日志

点击日志

会话日志记录了用户的各种行为，如在电子商务网站中这些行为主要包括网页浏览，购买，点击，评分和评论等

用户行为的分类

显性反馈行为

包括用户明确表示对物品喜好的行为，主要方式是评分和喜欢/不喜欢

隐性反馈行为

不能明确反应用户喜好的行为，例如网页浏览行为

很多情况下

用户行为的表示方式

user id

产生行为的用户的唯一标识

item id

产生行为的对象的唯一标识

behavior type

行为的种类（比如是购买还是浏览）

context

产生行为的上下文，包括时间和地点，用户所处的环境等

behavior weight

行为的权重（如果是观看视频的行为，那么这个权重可以是观看时常；如果是打分行为，这个权重可以是分数）

behavior content

行为的内容（如果是评论行为，那么就是评论的文本；如果是打标签的行为，就是标签）

以一个用户浏览新闻为例：user id就是该用户，item id为新闻网页，时间为2018/8/29 8:00，地点为地铁站，浏览的时间为1分钟，新闻内容为关于亚运会中国女足大战中国台湾队。采用上述方式能够完整描述一个用户行为。不同的应用场景以上信息会存在缺失

常用的数据集

无上下文信息的隐性反馈数据集

每一条记录仅仅包含用户ID、物品ID

无上下文信息的显性反馈数据集

每一条记录包含用户ID、物品ID和用户对物品的评分

有上下文信息的隐性反馈数据集

每一条记录包含用户ID、物品ID和用户对商品产生行为的时间戳

有上下文信息的显性反馈数据集

每一条记录包含用户ID、物品ID、用户对物品的评分和评分行为发生的时间戳

用户行为分析

在利用用户行为数据设计推荐算法之前，研究人员首先需要对用户行为数据进行分析，了解数据中蕴含的一般规律，对算法设计起指导作用

长尾分布（PowerLaw）规律

物品流行度分布

横坐标为物品的流行度K：对物品产生过行为的用户总数

纵坐标为流行度为K的物品的总数

用户活跃度分布

横坐标为用户活跃度K：用户产生过行为的物品总数

纵坐标为活跃度为K的用户总数

协同过滤算法

仅仅基于用户行为数据设计的推荐算法一般称为协同过滤算法

方法分类

基于邻域的方法

基于用户的协同过滤算法（UserCF）

定义

在一个在线个性化推荐系统中，当一个用户A需要个性化推荐时，可以先找到和他有相似兴趣的其他用户，然后把那些用户喜欢的、而用户A没有听说过的物品推荐给A，这种方法称为基于用户的协同过滤算法

实现步骤

1、找到和目标用户兴趣相似的用户集合。（用户相似度计算）

2、找到这个集合中的用户喜欢的，且目标用户没有听说过的物品推荐给目标用户

相似性计算

物品-用户倒排表

相似度计算有不同的方法，有些增加了惩罚：用户u和用户v共同兴趣列表中热门物品对他们相似度的影响（UserCF-IIF）

生成推荐

UserCF算法会给用户推荐和他兴趣最相似的K个用户喜欢的物品。K为一个重要的参数，即为每个用户选出K个和他兴趣最相似的用户，然后推荐那K个用户感兴趣的物品。对推荐性能会产生一定的影响

特点

计算复杂度较大，无法对推荐结果做出解释，实际使用中不多

基于物品的协同过滤算法（ItemCF）

给用户推荐那些和他们之前喜欢的物品相似的物品

不过，ItemCF算法并不利用物品的内容属性计算物品之间的相似度，它主要通过分析用户的行为记录计算物品之间的相似度

物品A和物品B具有很大的相似度是因为喜欢物品A的用户大都也喜欢物品B

1、计算物品之间的相似度

2、根据物品的相似度和用户的历史行为给用户生成推荐列表

相似度计算

相似度计算时增加对热门商品的惩罚

用户-物品倒排表（即对每个用户建立一个包含他喜欢的物品的列表），对每个用户，将他物品列表中的物品两两在共现矩阵C中加1

生成推荐列表

公式略

计算用户u对物品i的兴趣

公式含义：和用户历史上感兴趣的物品越相似的物品，越有可能在用户的推荐列表中获得比较高的排名

对推荐结果可以进行解释

用户活跃度对物品相似性也会产生影响，可以增加惩罚项修正物品相似性计算公式

将ItemCF的相似度矩阵按最大值归一化，不但可以提高推荐的准确率，还可以提高推荐的覆盖率和多样性

对比

隐语义模型

LFM（潜在因子模型）

理解

隐语义模型核心思想是通过隐含特征联系用户兴趣和物品

对物品的兴趣进行分类。对于某个用户，首先得到他的兴趣分类，然后从分类中挑选他可能喜欢的物品

隐含语义分析技术因为采取了基于用户行为统计的自动聚类。较好地解决了很多人工分类的问题

常用模型

pLSA

LDA

隐含类别模型（latent class model）

隐含主题模型（latent topic model）

矩阵分解（matrix factorization）

训练集中，对于每个用户u，训练集里都包含了用户u喜欢的物品和不感兴趣的物品

推荐系统的用户行为分为显性反馈和隐形反馈。对隐形反馈数据集，只有正样本（用户喜欢什么物品），而没有负样本（用户对什么物品不感兴趣），需要人为制定负样本

重要参数

隐特征的个数F

学习速率α

正则化参数λ

负样本/正样本比例 ratio

基于图的随机游走算法

将用户行为数据表示成图的形式：用户和物品之间通过边连接，边表示用户对物品产生过行为

实验设计和算法评测

推荐系统冷启动问题

如何在没有大量用户数据的情况下设计个性化推荐系统并且让用户对推荐结果满意从而愿意使用推荐系统

冷启动问题分类

用户冷启动问题

解决如何给新用户做个性化推荐的问题

物品冷启动问题

解决如何将新的物品推荐给可能对它感兴趣的用户

系统冷启动问题

解决如何在一个新开发的网站上（还没有用户，也没有用户行为，只有一些物品信息）设计个性化推荐系统，从而在网站刚发布时就让用户体验到个性化推荐服务

提供非个性化的推荐

最简单例子：热门排行榜，可以给欧诺个户推荐热门排行榜，然后等到用户数据收集到一定的时候，再切换为个性化推荐

利用用户注册信息

人口统计学信息：年龄，性别，职业，民族，学历，居住地等

用户兴趣的描述

从其他网站导入的用户站外行为数据

利用用户的社交账号，导入好友信息等

要求用户在登陆时对一些物品进行反馈，收集用户对这些物品的兴趣信息，然后给用户推荐那些和这些物品相似的物品

对新加入的物品，可以利用内容信息

引入专家的知识

利用用户标签数据

用户和物品的联系途径

标签

标签是一种无层次化结构的，用来描述信息的关键词，可以用来描述物品的语义

让作者或者专家给物品打标签

让普通用户给物品打标签（UGC）

UGC的标签一方面描述了用户的兴趣，另一方面则表示了物品的语义

代表网站

Delicious

CiteULike

Last.fm

豆瓣

Hulu

标签系统的作用

表达：标签系统帮助我表达对物品的看法（30%）

组织：打标签帮助我组织我喜欢的电影（23%）

学习：打标签帮助我增加对电影的了解（27%）

发现：标签系统使我更容易发现喜欢的电影（19%）

决策：标签系统帮助我判定是否看某一部电影（14%）

标签系统中的推荐问题

用户为什么进行标注

社会维度

给内容上传者使用

给广大用户使用

功能维度

更好地组织内容，方便用户将来的查找

传达某种信息，比如照片的拍摄时间和地点

用户如何打标签

用户打什么样的标签

表明物体是什么

表明物品的种类

表明谁拥有物品

表达用户的观点

用户相关的标签

用户的任务

类型，时间，人物，地点，语言，奖项，其他

基于标签的推荐系统

标签在推荐系统中的作用

标签是联系用户和物品的纽带，也是反应用户兴趣的重要数据源

用户标签行为数据的表示

三元集合表示：(u，i，b)表示用户u给物品i打上了标签b

用户真实标签行为数据远远比三元组表示的要复杂，比如用户打标签的时间，用户ID，网页URL，标签等

实验设计

数据稀疏性

标签清理

基于图的推荐算法

给用户推荐标签

为什么给用户推荐标签

方便用户输入标签

提高标签质量

如何给用户推荐标签

给用户u推荐整个系统里最热门的标签（PopularTags）

给用户u推荐物品i上最热门的标签（ItemPopularTags）

给用户u推荐他自己经常使用的标签（UserPopularTags）

前面两种的加权融合（HybridPopularTags）

实验设置

基于图的标签推荐系统

利用上下文信息

时间上下文信息

时间效应

时间信息对用户兴趣的影响表现

用户兴趣是变化的

物品也是有生命周期的

季节效应

节日也是一种季节效应

系统时间特性的分析

在给定时间信息后，推荐系统从一个静态系统变成了一个时变系统，而用户行为数据也变成了时间序列

统计信息量

数据集每天独立用户数的增长情况

系统的物品变化情况

用户访问情况

数据集的选择

物品的生存周期和系统的时效性

物品平均在线天数

相隔T天系统物品流行度向量的平均相似度

推荐系统的实时性

一个实时的推荐系统需要能够实时响应用户新的行为，让推荐列表不断变化，从而满足用户不断变化的兴趣

实时推荐系统

实时推荐系统不能每天都给所有用户离线计算推荐结果，然后在线展示昨天计算出来的结果。所以，要求在每个用户访问推荐系统时，都根据用户这个时间点前的行为实时计算推荐列表

推荐算法要平衡考虑用户的近期行为和长期行为，即要让推荐列表反应出用户近期行为所体现的兴趣变化，又不能让推荐列表完全受用户近期行为的影响，要保证推荐列表对用户兴趣预测的延续性

推荐算法的时间多样性

推荐系统每天推荐结果的变化程度被定义为推荐系统的时间多样性。时间多样性高的推荐系统中用户会经常看到不同的推荐结果

提高推荐结果时间多样性方法

首先需要保证推荐系统能够在用户有了新的行为后及时调整推荐结果，使推荐结果满足用户最近的兴趣

其次，需要保证推荐系统在用户没有新的行为时也能够经常变化一下结果，具有一定的时间多样性

在生成推荐结果时加入一定的随机性

记录用户每天看到的推荐结果，然后在每天给用户进行推荐时，对他前几天看到过很多次的推荐结果进行适当降权

每天给用户使用不同的推荐算法

时间上下文推荐算法