登录 注册
当前位置:主页 > 资源下载 > 47 > 在ubuntu18.04.2系统环境下搭建电商用户画像时,安装rtx2080 nvidia显卡驱动的具体步骤

在ubuntu18.04.2系统环境下搭建电商用户画像时,安装rtx2080 nvidia显卡驱动的具体步骤

  • 更新:2024-08-20 20:45:50
  • 大小:1.59MB
  • 推荐:★★★★★
  • 来源:网友上传分享
  • 类别:spark - 大数据
  • 格式:PDF

资源介绍

六、 电商用户画像环境搭建 众所周知,Hive的执行任务是将 hql语句转化为MapReduce 来计算的,Hive 的整体解决方案很不错,但是从查询提交到结果 返回需要相当长的时间,查询耗时太长。这个主要原因就是由于 Hive原生是基于MapReduce的,那么如果我们不生成MapReduce Job,而是生成 Spark Job,就可以充分利用 Spark 的快速执行能 力来缩短 HiveHQL 的响应时间。 本项目采用 SparkSql 与 hive 进行整合,通过 SparkSql 读取 hive 中表的元数据,把 HiveHQL 底层采用 MapReduce 来处理任 务,导致性能慢的特点,改为更加强大的 Spark 引擎来进行相应的