Spark 实践 - 客户端使用spark-submit提交_程序开发

admin

2023-01-31 15:42:34

0次

一、客户端提交spark应用程序

是指在spark集群之外的机器，提交spark应用程序到spark集群运行。

二、spark-submit提交程序语法

使用spark-submit工具提交Spark应用程序的语法：

./bin/spark-submit \

--class \

--master \

--deploy-mode \

--conf = \

... # other options

[application-arguments]

--class 应用程序的入口类名；

--master spark 集群的url；

--deploy-mode 部署方式；

--conf 应用程序的sparkContext配置选项；

--application-jar 外部依赖；

--application-arguments 应用程序参数；

三、在客户端使用spark-submit提交spark应用程序时需要注意的事项

1）、客户端机器与spark集群必须互相知道，即相互ping得通；

2）、如果应用程序中用到了本地文件，那么集群中的worker机器都必须有该文件，否则会报找不到文件；

3）、windows客户端，如果应用程序中用到本地文件，那么无法提交到linux环境下的spark集群；

我来教教您“天天爱麻将.有没有... 家人们！今天小编来为大家解答天天爱麻将透视挂怎么安装这个问题咨询软件客服徽4282891的挂在哪里买...

玩家攻略科普“甘孜娱乐中心.究... 有亲，根据资深记者爆料甘孜娱乐中心是可以开挂的，确实有挂（咨询软件无需...

今日重大通报“白金岛放炮罚.有... 网上科普关于“白金岛放炮罚有没有挂”话题很是火热，小编也是针对白金岛放炮罚作*弊开挂的方法以及开挂对...

终于了解“闲来玩游戏.有没有挂... 终于了解“闲来玩游戏.有没有挂？”太坑了果然有挂您好，闲来玩游戏这个游戏其实有挂的，确实是有挂的，需...

玩家最新攻略“皮皮跑胡子.怎么... 家人们！今天小编来为大家解答皮皮跑胡子透视挂怎么安装这个问题咨询软件客服徽9784099的挂在哪里买...

今日重大消息“么么四川麻将.辅... 有亲，根据资深记者爆料么么四川麻将是可以开挂的，确实有挂（咨询软件无需...

今日重磅消息“飞鹰互娱.到底有... 网上科普关于“飞鹰互娱有没有挂”话题很是火热，小编也是针对飞鹰互娱作*弊开挂的方法以及开挂对应的知识...

创纪录霸榜！《科学》《自然》年... 世界顶级期刊美国《科学》杂志昨天公布2025年度十大科学突破，中国成果密集入选成为最值得关注的现象之...

【第一消息】“湘乐.到底是不是... 家人们！今天小编来为大家解答湘乐透视挂怎么安装这个问题咨询软件客服徽4282891的挂在哪里买很多人...

今日重大通报“白金岛跑胡子.有... 有亲，根据资深记者爆料白金岛跑胡子是可以开挂的，确实有挂（咨询软件无需...