spakr 提交任务

• 当前集群支持3中集群管理
  
  
  Standalone（spak框架自身拥有能力）
• Apache Mesos?
• Hadoop YARN?
• Kubernetes?
• 使用/spark-submit脚本提交任务，脚本后面可以接参数?

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

例子：

../../bin/spark-submit  \--master spark://node01:7077,node02:7077   --class org.apache.spark.examples.SparkPi  ./spark
  -examples_2.11-2.3.4.jar    100000

参数解释：

--class：用于设置程序运行main函数所在类全名

--master：集群地址

--deploy-mode：部署模式（client/cluster）

--conf：spark.default.parallelism=300?指定并行的task数量为300

--driver-memory 2g Driver内存

--driver-cores 2 Driver核数

--executor-memory 2g ：用于设置每个Executor进程的CPU core数量

--executor-cores 2??用于设置每个Executor进程的CPU core数量

--num-executors 24 用于设置Spark作业总共要用多少个Executor进程来执行