spark的yarn模式优化

问题：每次spark on yarn时都要把spark/jars下的所有jar文件压缩，并上传到HDFS上的临时目录下

解决：上传jars中jar的压缩包到hdfs，并在spark-defaults.conf配置指定位置

 

入库优化

map、filter等是针对单个元素变换，

mapPartitions和mapPartitionsWithIndex是以分区为单位，元素通过迭代器组织在一起；对入库操作，如将数据写入mysql中，每个分区开启一个连接

 

数据倾斜：byKey操作

1、设计key，两次reduceByKey

2、随机分区，两次reduceByKey，较好

 

repartition 和 coalesce

rdd.repartition(n)调用的就是coalesce，始终进行shuffle操作。 如果是减少分区，推荐使用coalesce,可以指定是否进行shuffle操作，默认是false即不分区通过coalesce增加分区时，必须指定shuffle为true，否则分区数不变。