Spark 实践 - 客户端使用spark-submit提交
admin
2023-01-31 15:42:34
0次
一、客户端提交spark应用程序
是指在spark集群之外的机器，提交spark应用程序到spark集群运行。
二、spark-submit提交程序语法
使用spark-submit工具提交Spark应用程序的语法：
./bin/spark-submit \
--class
--master
--deploy-mode
--conf
... # other options
[application-arguments]
--class 应用程序的入口类名；
--master spark 集群的url；
--deploy-mode 部署方式；
--conf 应用程序的sparkContext配置选项；
--application-jar 外部依赖；
--application-arguments 应用程序参数；
三、在客户端使用spark-submit提交spark应用程序时需要注意的事项
1）、客户端机器与spark集群必须互相知道，即相互ping得通；
2）、如果应用程序中用到了本地文件，那么集群中的worker机器都必须有该文件，否则会报找不到文件；
3）、windows客户端，如果应用程序中用到本地文件，那么无法提交到linux环境下的spark集群；
相关内容
热门资讯
第16次登榜《财富》中国500...
宇通客车第16次上榜《财富》中国500强位列榜单第362位，排名较去年上升13名自2010年首次登榜...
填报志愿没看清，山东644分考...
极目新闻记者 柳琛琛今年高考考了644分，本以为能冲刺厦门大学本部，没想到填报志愿时没看清楚，被录取...
为抗议毒油案蓝营青年绝食第5天...
国民党籍台北市议员杨植斗等4名青年为抗议毒油案于台北市凯达格兰大道绝食静坐，23日将迈入第五天。杨植...
西门子洗衣机怎么恢复出厂设置
西门子洗衣机怎么恢复出厂设置如果洗衣机是开机模式，先按电源关机键，等洗衣机关机后，然后重新按开机键，...
空调程序乱了怎么办
只需要把空调的电源拔下来，然后大概十分钟之后，再将空调的插头插上去，开启空调就可以了，系统自动重新启...
海尔洗衣机程序乱了怎么复位
海尔洗衣机程序乱了怎么复位：海尔洗衣机程序乱了，针对这种情况，先关闭一下洗衣机的电源，然后重新接通洗...
夏新洗衣机程序乱了怎么办
夏新洗衣机程序乱了，是很常见的问题。通常情况下，这可能是由于电子控制面板出现故障，或者是洗衣机内部发...
西门子洗衣机自动暂停是怎么回事
西门子洗衣机自动暂停可能有以下原因：1. 电源问题：检查电源线是否插好，电源是否稳定。2. 过载保护...
最短的黄金时代：韩国杠杆一代的...
在两个月前，整个韩国社会只有两种人：一种是买了海力士和三星股票的，一种是没买的。买了股票的人进入“黄...