关于Java：启动Spark Master Windows7


Launch spark master windows7

使用win7-64，jdk8，sparks1.6.2。
我有运行中的spark，winutils，HADOOP_HOME等

每个文档注意：启动脚本当前不支持Windows。要在Windows上运行Spark集群，请手动启动master和worker。但是不说如何？

如何在Windows上启动Spark Master？

尝试通过git bash运行sh start-master.sh：failed to launch org.apache.spark.deploy.master.Master:即使它打印出Master --ip Sam-Toshiba --port 7077 --webui-port 8080-所以我不知道全部这表示。
但是当我尝试spark-submit --class" " --master spark://Sam-Toshiba:7077 target/ .jar时-
我收到错误消息：
警告AbstractLifeCycle：失败的[email protected]：
4040：java.net.BindException：地址已在使用中：bind
java.net.BindException：地址已在使用中

1
2
3
4
WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

还尝试了spark：//：// localhost：7077-相同的错误

在Windows上，您可以使用以下命令启动Master。打开命令提示符并转到Spark bin文件夹并执行

1
spark-class.cmd org.apache.spark.deploy.master.Master

以上命令将按照计算机的IP在控制台中以Master: Starting Spark master at spark://192.168.99.1:7077的形式打印。您可以在http://192.168.99.1:8080/

上检查UI

如果要在主服务器启动后启动工作进程，则可以使用以下命令。这将使用计算机上所有可用的内核。

1
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

如果要使用4个机器核心中的2个核心，请使用

1
spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077
相关讨论