-
在ubuntu18.04.2系统环境下搭建电商用户画像时,安装rtx2080 nvidia显卡驱动的具体步骤
资源介绍
六、 电商用户画像环境搭建
众所周知,Hive的执行任务是将 hql语句转化为MapReduce
来计算的,Hive 的整体解决方案很不错,但是从查询提交到结果
返回需要相当长的时间,查询耗时太长。这个主要原因就是由于
Hive原生是基于MapReduce的,那么如果我们不生成MapReduce
Job,而是生成 Spark Job,就可以充分利用 Spark 的快速执行能
力来缩短 HiveHQL 的响应时间。
本项目采用 SparkSql 与 hive 进行整合,通过 SparkSql 读取
hive 中表的元数据,把 HiveHQL 底层采用 MapReduce 来处理任
务,导致性能慢的特点,改为更加强大的 Spark 引擎来进行相应的