博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop单词统计
阅读量:6039 次
发布时间:2019-06-20

本文共 1914 字,大约阅读时间需要 6 分钟。

1. 本地创建文本文件

[root@s166 fantj]# mkdir input[root@s166 fantj]# cd input/[root@s166 input]# echo "hello fantj" > file1.txt[root@s166 input]# echo "hello hadoop" > file2.txt[root@s166 input]# echo "hello mapreduce" > file3.txt[root@s166 input]# lsfile1.txt  file2.txt  file3.txt

2. 将文件上传到hadoop

[root@s166 input]# hadoop fs -mkdir /wordcount[root@s166 input]# hadoop fs -ls /Found 1 itemsdrwxr-xr-x   - root supergroup          0 2018-07-27 07:51 /wordcount[root@s166 input]# cd ..[root@s166 fantj]# lsdownload  hadoop  input  jdk[root@s166 fantj]# hadoop fs -put input/* /wordcount[root@s166 fantj]# hadoop fs -ls /wordcountFound 3 items-rw-r--r--   3 root supergroup         12 2018-07-27 07:52 /wordcount/file1.txt-rw-r--r--   3 root supergroup         13 2018-07-27 07:52 /wordcount/file2.txt-rw-r--r--   3 root supergroup         16 2018-07-27 07:52 /wordcount/file3.txt

3. 启用hadoop自带单词统计进行处理

[root@s166 fantj]# cd /home/fantj/hadoop/share/hadoop/[root@s166 hadoop]# lscommon  hdfs  httpfs  kms  mapreduce  tools  yarn[root@s166 hadoop]# cd mapreduce/[root@s166 mapreduce]# lshadoop-mapreduce-client-app-2.7.0.jar     hadoop-mapreduce-client-hs-plugins-2.7.0.jar       hadoop-mapreduce-examples-2.7.0.jarhadoop-mapreduce-client-common-2.7.0.jar  hadoop-mapreduce-client-jobclient-2.7.0.jar        libhadoop-mapreduce-client-core-2.7.0.jar    hadoop-mapreduce-client-jobclient-2.7.0-tests.jar  lib-exampleshadoop-mapreduce-client-hs-2.7.0.jar      hadoop-mapreduce-client-shuffle-2.7.0.jar          sources[root@s166 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.0.jar wordcount /wordcount /print

查看结果

[root@s166 mapreduce]# hadoop fs -ls /printFound 2 items-rw-r--r--   3 root supergroup          0 2018-07-27 07:55 /print/_SUCCESS-rw-r--r--   3 root supergroup         37 2018-07-27 07:55 /print/part-r-00000[root@s166 mapreduce]# hadoop fs -cat /print/part-r-00000fantj   1hadoop  1hello   3mapreduce   1

转载地址:http://eolhx.baihongyu.com/

你可能感兴趣的文章
接口测试(三)--HTTP协议简介
查看>>
周志华《机器学习》课后答案——第4章.决策树
查看>>
frameset分帧问题
查看>>
特殊样式:ime-mode禁汉字,tabindex焦点
查看>>
linux
查看>>
Layout父元素点击不到的解决办法
查看>>
【面试次体验】堆糖前端开发实习生
查看>>
基于apache实现负载均衡调度请求至后端tomcat服务器集群的实现
查看>>
C#+QQEmail自动发送邮件
查看>>
[Hadoop]MapReduce多输出
查看>>
Android Activity详解(一)
查看>>
快准车服完成3000万元A+轮融资,年底将开始B轮融资
查看>>
让我去健身的不是漂亮小姐姐,居然是贝叶斯统计!
查看>>
MySQL 数据约束
查看>>
我的友情链接
查看>>
SERVLET容器简介与JSP的关系
查看>>
《服务器SSH Public Key认证指南》-补充
查看>>
我的友情链接
查看>>
Java break continue return 的区别
查看>>
算法(Algorithms)第4版 练习 1.3.4
查看>>