system cannot find the path specified in spark-shell
我试图在Win7中安装Spark,但出现错误。
这些是我的环境设置:
JAVA_HOME : C:\\Program Files\\Java\\jdk1.7.0_71;
1 | SCALA_HOME: C:\\Program Files (x86)\\scala |
PATH : C:\\Program Files\\Java\\jdk1.7.0_71\\bin;C:\\app\\Sampad\\product\\11.2.0\\dbhome_1\\bin;C:\\Python27;C:\\Program Files\\Python27\\;C:\\Program Files\\Python27\\Scripts;C:\\Program Files (x86)\\Intel\\iCLS Client\\;C:\\Program Files\\Intel\\iCLS Client\\;C:\\Program Files (x86)\
VIDIA Corporation\\PhysX\\Common;%SystemRoot%\\system32;%SystemRoot%;%SystemRoot%\\System32\\Wbem;%SYSTEMROOT%\\System32\\WindowsPowerShell\\v1.0\\;C:\\Program Files\\Intel\\Intel(R) Management Engine Components\\DAL;C:\\Program Files\\Intel\\Intel(R) Management Engine Components\\IPT;C:\\Program Files (x86)\\Intel\\Intel(R) Management Engine Components\\DAL;C:\\Program Files (x86)\\Intel\\Intel(R) Management Engine Components\\IPT;C:\\Program Files\\Java\\jdk1.6.0_45\\bin;C:\\Program Files\
odejs\\;C:\\Program Files\\Python27;C:\\Anaconda;C:\\Anaconda\\Scripts;C:\\HashiCorp\\Vagrant\\bin;C:\\Program Files (x86)\\scala\\bin;C:\\spark\\bin;
1 | HADOOP_HOME : C:\\winutils; (set this after reading this blog |
请让我知道我犯了什么错误。 提前致谢。
尝试从以下位置修改spark-shell2.cmd文件的第一行
1 | @echo off |
至
1 | rem @echo off |
对我来说,这表明它正尝试从以下行的c:\ spark \ bin \ bin加载文件
1 | "%SPARK_HOME%\\bin\\spark-submit2.cmd" --class org.apache.spark.repl.Main --name"Spark shell" %* |
在我的环境中,%SPARK_HOME%设置为c:\ spark \ bin。我的安装位于c:\ spark \ bin
因此,我将%SPARK_HOME%设置为c:\ Spark并将%SPARK_HOME%\ bin添加到了我的PATH。
对我来说,上面指定的所有内容都是正确的,但仍然无法正常工作。
我发现的原因是在"系统变量"部分中添加了所有环境变量,因此当我在"用户变量"部分中添加它们时,它开始工作。
我在用户变量中添加了
可能会发生,因为不同的Java版本:
JAVA_HOME : C:\\Program Files\\Java\\jdk1.7.0_71;
C:\\Program Files\\Java\\jdk1.6.0_45\\bin
代替" C:\ Program Files \ Java \ jdk1.6.0_45 \ bin",使用"%JAVA_HOME%\ bin"
Spark:尝试运行spark-shell,但无法将get cmd识别为内部或
原因之一是JAVA_HOME或SPARK_HOME在路径中都有空格。在这种情况下 :
"SCALA_HOME: C:\\Program Files (x86)\\scala"
在"程序文件(x86)"之后的路径中有空格。尝试将文件移动到完整路径中不会占用空间的位置。就我而言,JAVA_HOME路径中有空间。
您需要设置JAVA_HOME和路径
第一件事是你必须走
1 | edit system Environment variable -> Environment variable -> under the User varibales for <user> |
添新
1 2 3 4 5 6 7 | 1. JAVA_HOME = C:\\Program Files\\Java\\jdk1.8.0_191 In path add %JAVA_HOME%\\bin 2. SPARK_HOME = C:\\spark //*spark is my folder where i have installed spark* In path add %SPARK_HOME%\\bin |
这将解决您的问题
我遇到了同样的问题,解决方案是重新启动内核并在一个笔记本上工作
我在Windows 10上遇到了同样的问题,请确保只有JAVA_HOME值是绝对路径,其余所有内容都相对于%JAVA_HOME%
我有类似的问题,我重新安装了Java(新版本)并更正了JAVA_HOME。这为我解决了问题