win7系统配置spark2.2支持scala和python语言开发
前提：win7中先安装好python3.5和scala运行环境，本文重点不讲解该两种语言怎么安装，网上很容易找到配置方法。
http://p0.qhimgs4.com/t01a9de08153a1428bd.webp
此次重点是分享win7系统里如何实现spark2.2大数据运算框架环境。找了很多资料别人做过的相关配置，比较无耐，走了很多湾路，最终让我整成功了。
环境变量path值如下图：内容也可以复制粘贴。
;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;%SPARK_HOME%\bin;%SPARK_HOME%\sbin;C:\Python35;C:\Python35\Scripts;C:\Python35\Lib\site-packages;
http://p1.qhimgs4.com/t0141fac16fa53fd3f1.webp
pah环境变量
http://p2.qhimgs4.com/t01cf4fb88cc2b70988.webp
scala环境变量
JAVA环境的安装，建议安装在C:\java目录，通过jdk默认安装位置是C:\Program Files\java，但jdk默认安装位置会让Hadoop报错，找不到JAVA。原因是目录Program Files 之间有空格，字符长度过长问题会在CDM的DOS环境中显示Program ~1之类的缩写字符串导致Hadoop的报错。
http://p0.qhimgs4.com/t01daab05d2658f9fb7.webp
JAVA环境的安装配置
HADOOP_HOME配置目录，你可以自定义位置，不一定是C盘，图中调置是在G盘，是因为我的G盘空间大，HADOOP本身运行需要足够大的空间。
http://p0.qhimgs4.com/t0113de9c5e141d12a9.webp
HADOOP_HOME配置
HADOOP_HOME配置好之后，需要使用命令权限配置。在DOS命令窗口敲入
G:\hadoop-2.6.5\bin\winutils.exe chmod -R 777 C:\tmp\hive
此处需要注意的是winutils.exe需要对应的版本，此文件区分32位和64位，没有找相对的版本，同样会出现报错。
如果都正常，可以运行hadoop了，如下图:
http://p1.qhimgs4.com/t010222c8ed07f8609c.webp
hadoop运行
我下载的spark-2.2.0-bin-hadoop2.6 ，位置放G盘，G:\spark-2.2.0-bin-hadoop2.6，存放位置没有什么讲究的。核心是G:\spark-2.2.0-bin-hadoop2.6\python的pyspark复制到C:\Python35\Lib\site-packages目录下。
http://p2.qhimgs4.com/t0165e7770ae8374929.webp
找到G:\spark-2.2.0-bin-hadoop2.6\python的pyspark目录
http://p0.qhimgs4.com/t01228d69a76d343c58.webp
复制后目录结果
到这一步还没有完，还需要安装python库py4j，安装命令方法：pip3 install py4j ，完成之后来看看运行的情况。
http://p2.qhimgs4.com/t0182ee94d5be33e1b7.webp
win7系统完美支持python版的spark2.2
再来看看支持scala语言的spark2.2情况，输入spark-shell就看到了下面图示了。
http://p0.qhimgs4.com/t01343584d3f701fbfd.webp
win7系统完美支持scala版的spark2.2
好了，到此win7中实现spark2.2同时支持python和scala语言环境了。如果大家安装过程遇到问题，可以私信发给我，我可以提供完整安装包。
页:
[1]