系统找不到spark-shell中指定的路径

system cannot find the path specified in spark-shell

我试图在Win7中安装Spark,但出现错误。

这些是我的环境设置:

SPARK_HOME : C:\\spark(这是我解压缩spark文件的位置)

JAVA_HOME : C:\\Program Files\\Java\\jdk1.7.0_71;

1
SCALA_HOME: C:\\Program Files (x86)\\scala

PATH : C:\\Program Files\\Java\\jdk1.7.0_71\\bin;C:\\app\\Sampad\\product\\11.2.0\\dbhome_1\\bin;C:\\Python27;C:\\Program Files\\Python27\\;C:\\Program Files\\Python27\\Scripts;C:\\Program Files (x86)\\Intel\\iCLS Client\\;C:\\Program Files\\Intel\\iCLS Client\\;C:\\Program Files (x86)\
VIDIA Corporation\\PhysX\\Common;%SystemRoot%\\system32;%SystemRoot%;%SystemRoot%\\System32\\Wbem;%SYSTEMROOT%\\System32\\WindowsPowerShell\\v1.0\\;C:\\Program Files\\Intel\\Intel(R) Management Engine Components\\DAL;C:\\Program Files\\Intel\\Intel(R) Management Engine Components\\IPT;C:\\Program Files (x86)\\Intel\\Intel(R) Management Engine Components\\DAL;C:\\Program Files (x86)\\Intel\\Intel(R) Management Engine Components\\IPT;C:\\Program Files\\Java\\jdk1.6.0_45\\bin;C:\\Program Files\
odejs\\;C:\\Program Files\\Python27;C:\\Anaconda;C:\\Anaconda\\Scripts;C:\\HashiCorp\\Vagrant\\bin;C:\\Program Files (x86)\\scala\\bin;C:\\spark\\bin;

1
HADOOP_HOME : C:\\winutils; (set this after reading this blog

请让我知道我犯了什么错误。 提前致谢。


尝试从以下位置修改spark-shell2.cmd文件的第一行

1
@echo off

1
rem @echo off

对我来说,这表明它正尝试从以下行的c:\ spark \ bin \ bin加载文件

1
"%SPARK_HOME%\\bin\\spark-submit2.cmd" --class org.apache.spark.repl.Main --name"Spark shell" %*

在我的环境中,%SPARK_HOME%设置为c:\ spark \ bin。我的安装位于c:\ spark \ bin

因此,我将%SPARK_HOME%设置为c:\ Spark并将%SPARK_HOME%\ bin添加到了我的PATH。


对我来说,上面指定的所有内容都是正确的,但仍然无法正常工作。

我发现的原因是在"系统变量"部分中添加了所有环境变量,因此当我在"用户变量"部分中添加它们时,它开始工作。

我在用户变量中添加了JAVA_HOME,SPARK_HOME, HADOOP_HOMEPATH


可能会发生,因为不同的Java版本:

JAVA_HOME : C:\\Program Files\\Java\\jdk1.7.0_71;

C:\\Program Files\\Java\\jdk1.6.0_45\\bin

代替" C:\ Program Files \ Java \ jdk1.6.0_45 \ bin",使用"%JAVA_HOME%\ bin"

Spark:尝试运行spark-shell,但无法将get cmd识别为内部或


原因之一是JAVA_HOME或SPARK_HOME在路径中都有空格。在这种情况下 :

"SCALA_HOME: C:\\Program Files (x86)\\scala"

在"程序文件(x86)"之后的路径中有空格。尝试将文件移动到完整路径中不会占用空间的位置。就我而言,JAVA_HOME路径中有空间。


您需要设置JAVA_HOME和路径
第一件事是你必须走

1
edit system Environment variable -> Environment variable -> under the User varibales for <user>

添新

1
2
3
4
5
6
7
1. JAVA_HOME = C:\\Program Files\\Java\\jdk1.8.0_191
In path
add %JAVA_HOME%\\bin

2. SPARK_HOME = C:\\spark   //*spark is my folder where i have installed spark*
In path
add %SPARK_HOME%\\bin

这将解决您的问题


我遇到了同样的问题,解决方案是重新启动内核并在一个笔记本上工作


我在Windows 10上遇到了同样的问题,请确保只有JAVA_HOME值是绝对路径,其余所有内容都相对于%JAVA_HOME%


我有类似的问题,我重新安装了Java(新版本)并更正了JAVA_HOME。这为我解决了问题