《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

发布时间:2023年12月19日

📋 博主简介

  • 💖 作者简介:大家好,我是wux_labs。😜
    热衷于各种主流技术,热爱数据科学、机器学习、云计算、人工智能。
    通过了TiDB数据库专员(PCTA)、TiDB数据库专家(PCTP)、TiDB数据库认证SQL开发专家(PCSD)认证。
    通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。
    对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究,对Databricks的使用有丰富的经验。
  • 📝 个人主页:wux_labs,如果您对我还算满意,请关注一下吧~🔥
  • 📝 个人社区:数据科学社区,如果您是数据科学爱好者,一起来交流吧~🔥
  • 🎉 请支持我:欢迎大家 点赞👍+收藏??+吐槽📝,您的支持是我持续创作的动力~🔥

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

前言

大家好!今天为大家分享的是《PySpark大数据分析实战》第2章第5节的内容:云服务模式Databricks介绍创建集群。

图书在:当当京东机械工业出版社以及各大书店有售!

创建集群

使用Databricks进行数据集成、数据分析、机器学习前,必须创建集群。通过Compute菜单打开Compute列表界面,如图所示。

Databricks支持两种类型的Compute,All-purpose compute是通用的计算资源,可用于交互式数据集成、数据分析等;Job compute是用于执行定时作业的计算资源。在All-purpose compute页面点击Create compute按钮,打开集群创建界面,如图所示。

Databricks的集群支持两种模式,Single node是单节点模式,类似于Spark的单机模式;Muti node是多节点模式,类似于Spark的独立集群模式,包含1个Master节点和多个可弹性扩缩容的Worker节点。选择Multi node选项,在Databricks runtime version下面选择Spark版本。Databricks支持两种类型的runtime版本,Standard是标准类型版本,通常用于数据工程、数据科学;ML版本包含更多的机器学习的库,适用于学习,支持GPU运算。在ML版本下选择不支持GPU运算的Spark 3.4.0版本的集群环境,如图所示。

在Worker type下面选择Worker节点的类型,主要是选择CPU核数和内存大小,以及Worker节点个数,Worker节点支持弹性伸缩,根据需要进行设置,如图所示。

在Driver type下面选择Master节点的类型,选择与Worker节点一样,如图所示。

所有配置设置完成,点击Create Cluster按钮创建集群。集群创建完成后,在Compute列表可以看到创建的集群,如图所示。

数据集成

在Databircks中可以通过URL访问HDFS上的文件,但是Databricks是部署在云端的,这种数据访问会带来网络数据传输的开销。为了能够快速访问数据,可以将文件存储在DBFS上。通过左侧菜单栏的New菜单,选择Data菜单,如图所示。

在数据集成界面列出了可以集成到Databricks的数据源,Databricks支持很多数据源的集成,如图所示。

选择DBFS,在Upload File页面下,选择words.txt上传到DBFS的/FileStore/tables/路径下,如图所示。

结束语

好了,感谢大家的关注,今天就分享到这里了,更多详细内容,请阅读原书或持续关注专栏。

文章来源:https://blog.csdn.net/wux_labs/article/details/135096243
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。