关于Java:启动Spark Master Windows7

Launch spark master windows7

使用win7-64,jdk8,sparks1.6.2。
我有运行中的spark,winutils,HADOOP_HOME等

每个文档注意:启动脚本当前不支持Windows。要在Windows上运行Spark集群,请手动启动master和worker。但是不说如何?

如何在Windows上启动Spark Master?

尝试通过git bash运行sh start-master.sh:failed to launch org.apache.spark.deploy.master.Master:即使它打印出Master --ip Sam-Toshiba --port 7077 --webui-port 8080-所以我不知道全部这表示。
但是当我尝试spark-submit --class" " --master spark://Sam-Toshiba:7077 target/ .jar时-
我收到错误消息:
警告AbstractLifeCycle:失败的SelectChannelConnector@0.0.0.0:
4040:java.net.BindException:地址已在使用中:bind
java.net.BindException:地址已在使用中

1
2
3
4
WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

还尝试了spark://:// localhost:7077-相同的错误


在Windows上,您可以使用以下命令启动Master。打开命令提示符并转到Spark bin文件夹并执行

1
spark-class.cmd org.apache.spark.deploy.master.Master

以上命令将按照计算机的IP在控制台中以Master: Starting Spark master at spark://192.168.99.1:7077的形式打印。您可以在http://192.168.99.1:8080/

上检查UI

如果要在主服务器启动后启动工作进程,则可以使用以下命令。这将使用计算机上所有可用的内核。

1
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

如果要使用4个机器核心中的2个核心,请使用

1
spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077