博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
eclipse连hadoop2.x运行wordcount 转载
阅读量:7102 次
发布时间:2019-06-28

本文共 2128 字,大约阅读时间需要 7 分钟。

转载地址:

一、新建java工程,并且导入hadoop相关jar包 

此处可以直接创建mapreduce项目就可以,不用下面折磨麻烦:

4.1.2 新建java工程(需要手动导入hadoop相应jar包),具体如下图所示:

            4.1.2.1 新建java工程完成后,下面添加hadoop相应jar包,hadoop2.3.0相应jar包在/hadoop-2.3.0/share/hadoop目录中。

            4.1.2.2 进入Libraries,点击Add Library添加hadoop相应jar包。

            4.1.2.3 新建hadoop相应library成功后添加hadoop相应jar包到该library下面即可。

            4.1.2.4 需要添加的hadoop相应jar包有:

                /hadoop-2.3.0/share/hadoop/common下所有jar包,及里面的lib目录下所有jar包

                /hadoop-2.3.0/share/hadoop/hdfs下所有jar包,不包括里面lib下的jar包

                /hadoop-2.3.0/share/hadoop/mapreduce下所有jar包,不包括里面lib下的jar包

                /hadoop-2.3.0/share/hadoop/yarn下所有jar包,不包括里面lib下的jar包

参考:

二、新建WordCount类,找到官方WordCount类的源码,在

hadoop-2.6.0\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.6.0-sources.jar中,找到wordcount类,把代码复制出来即可。目录hadoop-2.6.0\share\hadoop\mapreduce\sources下面都是源码。

三、添加hadoop.dll和winutils.exe等并且添加到环境变量。

1.下载hadoop.dll和winutils.exe等,添加到hadoop的bin目录下,版本最好要对应(hadoop2.6.0不能使用hadoop2.2.0版本的dll文件。hadoop2.3.0可以使用hadoop2.6.0的dll文件,但是使用hadoop2.2.0的dll文件会出问题),dll文件在hadoop相关软件里面可以找到。否则会报winutls无法找到等等错误。

注意:在eclipse运行storm-hdfs时也会报

ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path

但这个错误不用管,因为storm-hdfs只是使用一下hdfs的api,并不需要运行mapreduce程序。

2.将HADOOP_HOME=D:\programs\hadoop-2.3.0-cdh5.1.0添加到环境变量,并且修改path,添加如下内容:%HADOOP_HOME%\bin。改完后让环境变量生效同时重启eclipse

四、右键运行,第一次需要配置运行参数,如下:

s://192.168.0.91:8020/input  s://192.168.0.91:8020/output

运行成功后在hdfs中就有运行成功后的数据。

五、打包放到yarn集群上运行,项目上右键,export->java->JAR file,只选择代码文件即可,上传到master上,然后运行提交jar包命令,:

command:yarn jar newwordcount.jar /input /output

六、错误汇总

1.需要访问hdfs等,拒绝当前window用户访问,denial,refuse等等拒绝问题,这个时候去调整下权限,因为hdfs下的文件目录都是属于某个用户的,而别的用户(window的用户)没有写的权限,需要将程序访问的目录改成可写的权限,$HADOOP_HOME/bin/hadoop fs -chmod -R 777 /storm

参考:

2. Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start(Unknown Source)

参考:的问题2

但是不完全能解决问题,1.需要使用hadoop2.6的hadoop.dll和winutils,所以需要到网上下hadoop2.6的hadoop.dll,而不是直接下hadoop2.2的hadoop.dll,否则会报下面这个错误。

UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray

2.修改path的环境变量之后,需要使环境变量立即生效:。

转载于:https://www.cnblogs.com/LT-blogs/p/4963346.html

你可能感兴趣的文章
explain mysql性能优化
查看>>
你真的会写Hello World吗
查看>>
深入Spring Boot: 怎样排查 java.lang.ArrayStoreException
查看>>
React 列表、键值与表单
查看>>
阿里出新零售“王炸”:手淘和钉钉打通,7万导购已受益
查看>>
Hibernate小解惑
查看>>
Javascript 开启浏览器全屏模式
查看>>
Java代码规范
查看>>
你不知道的JavaScript·第一部分
查看>>
松下CEO发话,期盼与特斯拉进一步合作自动驾驶
查看>>
Spring集成Jedis(不依赖spring-data-redis)(单机/集群模式)(待实践)
查看>>
张高兴的 Xamarin.Forms 开发笔记:Android 快捷方式 Shortcut 应用
查看>>
“百万年薪一将难求”,新零售人才争夺战怎么打?
查看>>
Firefox 66 发布,阻止网站自动播放声音
查看>>
介绍两个好玩的和Github相关的Chrome扩展
查看>>
他们经营天猫一半的店铺,或迎来史上最大机遇
查看>>
GMGC昆山数娱峰会:VR爆发,差的不只是一层窗户纸
查看>>
8Manage 助力平阳县交通运输局实现招标流程电子化管理
查看>>
硬盘分区时GPT和MBR的区别/选择
查看>>
互联网+汽车,一场打破传统的历史性变革
查看>>