-
分布式电影推荐系统:moviesite
资源介绍
分布式电影推荐系统
北京大学2019年秋《云计算与大数据平台》课程项目。
这是一个结合了Hadoop,Hbase,Spark,MongoDB,Django等开源框架的高可用分布式电影推荐系统,并以Web页面为用户提供了友好的访问方式。
系统功能
基本功能
登录注册
个人信息维护
按类别电影展示
电影搜索
电影详情查看
电影评分
电影评论
后台管理
电影推荐
协同过滤推荐
兴趣推荐
在线推荐
体系框架
系统架构
本系统的系统架构如图2所示,我们的数据基于MovieLens 20M6数据集,称为该数据集的rating.csv存入HDFS副本,并从IMDB7爬取数据集中的电影基本信息与电影图片,电影基本信息经过处理后存入MongoDB的已合并,电影图片存入Hbaes8集群。计算模块运行于YARN传递上,其中火花负责离线推荐计算,火花流负责在线推荐计算,离线推荐计算的任务每天执行一次,在线使用Ng
- 上一篇: 豆瓣读书评论爬取.py
- 下一篇: 爬取豆瓣读书