系统设计:使用Scala、Spark和Hadoop构建推荐系统

22-02-03 banq

推荐系统是一种广泛使用的机器学习技术,在电子商务(亚马逊、阿里巴巴)、视频流(Netflix、Disney+)、社交网络(Facebook、Linkedin)和许多其他领域都有很多应用。由于这些服务中的数据量很大,现在大多数行业级推荐系统都是建立在 Spark 和 Hadoop 等大数据框架中的。因此,在这篇博客中,我想向您展示我是如何使用 Scala、Spark 和 Hadoop 构建电影推荐系统的。

目录


 

推荐系统介绍
推荐系统算法可以分为两大类:基于内容的推荐和协同过滤。

  • 基于内容的推荐

利用产品特征向用户推荐与之前喜欢的产品相似的产品。
如果人 P1 和人 P2 对产品 D1 有相同的看法,那么 P1 对产品 D2 的看法与 P2 的看法相同的可能性比与随机选择的人 Px 的看法相同。
适合新闻/文章推荐
好处:
  1. - 该模型不需要任何用户数据输入,因此更容易扩展。- 能够通过特征工程捕捉小众物品。

缺点:
  1. - 需要领域知识。
  2. - 扩展用户兴趣的能力有限。

 
  • 协同过滤

通过收集许多其他用户的偏好信息来预测用户的兴趣。
如果一个人喜欢具有一系列属性的产品D1,他/她更有可能喜欢具有这些属性的产品D2,而不是没有这些属性的产品D3。
应用:电影推荐,亚马逊产品推荐
优点:
  1. - 不需要领域知识,高度可转移的模式。
  2. - 能够帮助用户发现新的兴趣。

缺点:
  1. - 冷启动问题:需要用现有的数据工作,不能处理新的项目/用户。
  2. - 难以扩展项目的功能。

 

协同过滤和Spark ALS
在这篇文章中,我们将使用协同过滤作为推荐算法。
协同过滤的工作原理是这样的。
首先,我们把所有用户对所有物品的评分看作是一个矩阵,
这个矩阵可以被因子化为两个独立的矩阵,一个是用户矩阵,行代表用户,列代表潜在因素;
另一个是物品矩阵,行是潜在因素,列代表物品。
在这个因式分解过程中,评分矩阵中的缺失值可以被填补,作为用户对物品评分的预测,然后我们可以用它们来给用户推荐。

ALS(交替最小二乘法)是协同过滤的数学优化实现,它使用带有加权拉姆达正则化 (ALS-WR) 的交替最小二乘法 (ALS) 来找到最小二乘预测和实际评级之间的最小二乘的最佳因子权重。Spark 的 MLLib 包有一个内置的 ALS 功能,我们将在这篇文章中使用它。
 

系统设置

  • Ubuntu 20.04.3
  • JDK 11.0.13
  • Scala 2.12.11
  • Spark 3.2.0
  • Hadoop 3.2.2
  • IntelliJ IDEA (2021.3.1)

 

数据集
在这个项目中,我们将使用来自明尼苏达大学双城分校的MovieLens 数据集。您可以通过运行以下命令下载ml-100k (4.7M):
wget https://files.grouplens.org/datasets/movielens/ml-100k.zip
运行以下命令解压缩 zip 文件:
unzip ml-100k.zip
您将看到解压缩ml-100k的文件夹包含多个文件。
我们主要使用两个数据文件:

  • u.data:用户评分数据,包括用户id、物品id、评分、时间戳。
  • u.item:电影数据,包括项目id、电影名称、上映日期、imdb url等。

 

在 Spark 中运行
在 Spark 中运行之前,请使用以下命令将代码从我的Github 存储库克隆到您的本地目录:
git clone https://github.com/haocai1992/MovieRecommender.git
 

准备HDFS中的数据
在我们开始之前,我们需要在终端中启动 hadoop HDFS 和 YARN 服务)。
$ hadoop namenode -format $ start-all.sh
然后我们需要将 ml-100k 数据集上传到 Hadoop HDFS:
$ hadoop fs -put ~/Downloads/ml-100k /user/caihao/movie
  

Spark中训练推荐模型
使用以下方法在 Spark 中训练推荐模型:

$ spark-submit --driver-memory 512m --executor-cores 2 --class RecommenderTrain --master yarn --deploy-mode client ~/Desktop/spark_test/MovieRecommender/out/artifacts/MovieRecommender_jar/MovieRecommender.jar

使用以下命令检查您在 HDFS 中训练的模型:
$ hadoop fs -ls -h /user/caihao/movie
 

在 Spark 中生成推荐
使用以下方法在 Spark 中推荐电影:

$ spark-submit --driver-memory 512m --executor-cores 2 --class Recommend --master yarn --deploy-mode client ~/Desktop/spark_test/MovieRecommender/out/artifacts/MovieRecommender_jar2/MovieRecommender.jar --U 100

 

在 Databricks 中运行 PySpark 版本
如果你不了解 Scala,我还创建了一个 Python 版本的推荐系统!它使用 PySpark 并在 Databricks 上运行。
在此处检查我的代码:我的 Databricks 笔记本
 

推荐系统设计
我们的系统设计如下。


有两个 Scala 对象:

  • RecommenderTrain.scala:读取评级文件(u.data),准备数据,训练 ALS 模型并保存模型。
  • Recommender.scala:读取电影文件(u.item),加载 ALS 模型,生成电影推荐。

更详细点击标题
 

猜你喜欢