2024.1.4 Spark Core ,RDD ,算子

?

目录

一 . RDD(弹性分布式数据集)

二 . RDD的五个特性

三 .RDD的五大特点

?四?. 算子??

?五 .? 分区算子 ,重分区算子 , 聚合算子 ,关联算子

分区算子:

重分区算子

聚合算子

关联算子:

---

一 . RDD(弹性分布式数据集)

Resilent弹性? ? Distrbuted分布式? ? ? ? Dataset数据集

1. rdd是Spark底层的数据结构?

2. Task 在Spark中就是线程?

3 . RDD中的一个分区就是一个线程,分区数有多少线程数就有多少? ?,set Master local里设置的就是线程

4. 使用 sc.parallelize(result)构建rdd,他的分区数量是受setMaster的local数影响的,你设置多少个就是多少分区 ; 如果这里写local[*],就会默认分区数是cpu核数? ;? ?如果在参数里有设置numslices, name就以参数的这个数量为分区数

5. 使用 sc.textfile构建RDD , 把setMaster 的local[]的值设置大于2的时候,不生效,分区的数量还是2? , 但是调小会生效 ;

在minPartitions里没有设置参数,那么一般就根据公式min(spark.default.parallelism,2)

在参数里设置 minPartitions, 这个参数设置的是最小分区的,所以得出来分区数是大于等于minPartitions设置的数的, 个别情况底层也会有优化,钥匙设置100,可能会出来36, 总之到底是多少没法保证?;

6. 使用wholeTextFile 构建RDD, setMaster 的local 数量 ,minPartitions , 文件的具体数量 ,都会影响分区的数量, 当设置了minPartitions的时候,最大的分区数量为 文件的最大数量

# 查看分区数的命令

data = [1,2,3,4,5,6]
init_rdd = sc.parallelize(data)
print(init_rdd.getNumPartitions())

# 查看分区数
init_rdd = sc.textFile( 'file:///export/data/2024.1.2_Spark/1.2_day01/content.txt'? , minPartitions=10? )

?7 .RDD 的分区数据量受到多个因素,例如:机器Cpu的核数 , 调用的算子 , 算子中参数的设置, 集群的类型等 . 实际中一般设置分区数量为cpu核数的两到三倍, 其目的是为了防止类似数据倾斜等现象,一个服务器忙死一个闲死 ;?

二 . RDD的五个特性

1、（必须的）RDD是有一系列分区组成的
2、（必须的）对RDD做计算，相当于对RDD的每个split或分区做计算
3、（必须的）RDD之间存在着依赖关系，宽依赖和窄依赖
4、（可选的）对于KV类型的RDD，我们可以进行自定义分区方案
5、（可选的）移动数据不如移动计算，让计算程序离数据越近越好

三 .RDD的五大特点

1、分区：RDD逻辑上是分区的，仅仅是定义分区的规则，并不是直接对数据进行分区操作，因为RDD本身不存储数据。
2、只读：RDD是不可变类型,RDD是只读的，要想改变RDD中的数据，只能在现有的RDD基础上创建新的RDD。
3、依赖：RDD之间存在着依赖关系，宽依赖和窄依赖
4、缓存：如果在应用程序中多次使用同一个RDD，可以将该RDD缓存起来，该RDD只有在第一次计算的时候会根据血缘关系得到分区的数据
5、checkpoint：与缓存类似的，都是可以将中间某一个RDD的结果保存起来，只不过checkpoint支持持久化保存,检查点成为了Spark的容错性,持久化

? ? ??

?四?. 算子??

RDD对象中提供了非常多的具有特殊功能的函数,我们将这些函数称为算子(函数/方法/API)

Spark算?有两类，分别是transformation算?和action算?。

● Transformation算?有：map，mapPartitions，groupBy，filter，distinct，repartition，union，

reduceByKey，groupByKey，Join，aggregateByKey等。

● Action算?有：reduce，collect，count，save，countByKey，aggregate，take。

?在代码执行时,transfor的算子直接打印不会有结果,需要加.collect? ;? action算子就可以直接打印

?

?flatmap和map的区别 :? ? ? ? ?flatmap把split切分后的东西全部放在了一起 , map就只是一对一的

在打印输出的时候如果返回的是可迭代对象,就要在算子后面加 .mapValues(list).collect()

?五 .? 分区算子 ,重分区算子 , 聚合算子 ,关联算子

分区算子:

??

假如有10亿个数据要处理

foreach? 一次处理10亿个

foreachPartition? ? ? ?10次处理,每次循环处理1亿个.

如果有反复消耗资源的操作,比如打开和关闭文件 ,数据库的关闭和连接 , 能够减少操作的次数

如果没有反复消耗资源的操作,那两种方法都一样

重分区算子

repartitions :重新修改RDD分区数, 可以增大和减少,只要有向无环图中间有两个stage,那stage之间就进行了shuffle过程,底层起始也是调用了coalesce, shuffle默认设了True ;?

?coalesce : 默认情况下减少RDD分区数 ,不会shuffle, shuffle过程会慢? ,在后面 传入参数shuffle = True ,就可以增加RDD分区数

rdd.coalesce(5,shuffle=True)

partition by 算子?:?该算子主要是用来改变key-value键值对数据类型RDD的分区数的。num表示要设置的分区数；fn参数是可选，用来让用户自定义分区规则。

聚合算子

? ? ? ? reduce():根据传入的函数对数据进行聚合处理

? ? ? ? fold:

? ? ? ? aggregate:

关联算子: