Hadoop大数据开发基础第2版第8章项目案例：电影网站用户影评分析.ppt

发布时间：2025-09-10 08:12

掌握基本的项目管理工具，如PPT制作、Excel数据分析等 #生活常识# #职场技巧# #专业技能提升#

* * * 电影网站用户影评分析对电影的影评进行分析，可以从多维度了解一部电影的质量和受欢迎程度。常规的数据分析工具在大数据场景下，处理数据的效率低下，显然不适用于大数据处理分析。分布使用Hadoop分布式框架并结合电影评分数据，编写MapReduce程序实现用户影评分析，从多维度分析用户的观影兴趣偏好。分布式计算框架的出现，为分析处理大数据的计算提供了很好的解决方案。任务背景 1 多维度分析用户影评目录了解数据字段并分析需求 2 进行用户观影兴趣偏好的数据分析之前，需要了解分析对象、数据字段的含义以及数据字段之间的关系。在明确数据字段的含义及其字段与字段之间可能存在的关系后，有助于提出科学的任务诉求，明确需求任务，因此本小节的任务是如下。了解数据字段。统计分析需求描述。任务描述电影网站提供了与用户信息相关的3份数据，分别为用户对电影的评分数据（ratings.dat）、已知性别的用户信息数据（users.dat）以及电影信息数据（movies.dat），3份数据的介绍说明如下表所示。了解数据字段字段说明 UserID 用户ID MovieID 电影ID Rating 评分 Timestamp 时间戳字段说明 UserID 用户ID Gender 性别 Age 年龄段 Occupation 职业 Zip-code 编码字段说明 MovieID 电影ID Genres 电影类型 ratings.dat users.dat movies.dat 通过对电影网站用户及电影评论数据进行分析，结合MapReduce编程知识，分别从评价次数、性别、年龄段、电影类型这4个维度分析用户的观影喜好，具体的统计分析需求如下。评价次数：计算评价次数最多的10部电影及评分次数。性别：计算不同性别评分最高的10部电影及评分。年龄段：计算某给定电影各年龄段的平均电影评分。电影类型：计算影评库中各种类型电影中评价最高的5部电影。统计分析需求描述 1 多维度分析用户影评目录了解数据字段并分析需求 2 根据任务需求进行MapReduce编程实施方案。将分析需求整合在一个项目中完成，根据不同的分析任务进行任务分析，创建不同的Java类，将每个分析任务分解为若干小的统计任务，分步实现各影评分析任务，本小节任务如下。创建并配置工程项目。计算评分次数最多的10部电影及评分次数并分析。计算不同性别评分最高的10部电影及评分并分析。计算指定电影各年龄段的平均影评并分析。计算影评库中各种类型电影中评价最高的5部电影并分析。任务描述在IDEA中创建一个名为hadoop的maven项目，并配置pom.xml文件。配置完成pom.xml文件后，需要单击右侧边栏的Maven按钮，同时单击刷新按钮重新加载所有的Maven项目所需的依赖包，操作如图所示。将Hadoop中的配置文件core-site.xml和hdfs-site.xml放至hadoop项目的resources目录下，具体如图所示。创建并配置工程项目在IDEA的hadoop项目com.cqyti.film.mapreduce包下定义一个名为Movies_Join_Ratings的类，该类主要完成movies.dat和ratings.dat两份数据的连接。将整个项目打包并上传至Hadoop集群中，通过“ hadoop jar ”命令接上JAR包名称（Movies_Join_Ratings.jar）和类名（com.cqyti.film.mapreduce.Movies_Join_Ratings），并按“ Enter ”键执行该MapReduce程序，即可在HDFS的/join/output目录下生成part-m-00000文件。使用“hdfs dfs –cat /join/output/part-m-00000 | head -10”查看movies.dat和ratings.dat两份数据连接后的结果，具体实现如图所示。计算评分次数最多的10部电影及评分次数并分析 1. 连接movies.dat和ratings.dat数据在hadoop项目com.cqyti.film.mapreduce包下定义一个名为MoviesRatesAll的类，计算所有电影的评分次数。将整个项目打包并上传至Hadoop集群中，通过“hadoop jar ”命令接上JAR包名称（MoviesRatesAll.jar）和类名（com.cqyti.film.mapreduce.MoviesRatesAll），并按“Enter ”键执行该MapReduce程序，执行完成后即可在HDFS的/join/outputAll/目录下生成part-r-00000文件。

网址：Hadoop大数据开发基础第2版第8章项目案例：电影网站用户影评分析.ppt https://klqsh.com/news/view/232088

⬅️上一篇：Spark案例

➡️下一篇：基于Hive的影评分析及可视化的