给大家带来CentOS下Hadoop搭建与wordcount实例运转

欢迎大家来到仓酷云论坛！比来在进修弄hadoop，碰到良多贫苦，这里纪录上去是便利今后转头检察。我用的VMwareWorkstation10.0.4下装置的CentOS7
装置设置jdk

java-version看是不是装置java
用env|grepJAVA_HOME大概echo$JAVA_HOME$PATH来反省情况变量设置的是不是准确，假如没有能够到官网高低载。由于自带的jdk有点成绩，我先卸载了自带的jdk：
起首反省linux上面时分装置过jdk

#rpm-qa|grepjdk
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
然后卸载自带jdk

#rpm-e--nodepsjava-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
#rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
情况变量设置

然后用上面下令设置情况变量：
vi/etc/profile（该文件要切换到root下往编纂）
翻开编纂的文件后，在文件最初面增加以下内容
JAVA_HOME=/usr/java/jdk1.7.0_71(这是我的装置目次，能够依据本人的定）
JRE_HOME=/usr/java/jdk1.7.0_71/jre
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportJAVA_HOMEJRE_HOMEPATHCLASSPATH
保留加入，最初运转上面下令，使设置失效
source/etc/profile
echo$JAVA_HOME$PATH来查验是不是设置准确
装置ssh办事

#rpm-qa|grepssh反省是不是装了SSH包没有的话yuminstallopenssh-server
#chkconfig--listsshd反省SSHD是不是在本运转级别下设置为开机启动
#chkconfig--level2345sshdon假如没设置启动就设置下.
#servicesshdrestart从头启动
#netstat-antp|grepsshd看是不是启动了22端口.确认下.
#iptables-nL看看是不是放行了22口.
#setup---->防火墙设置假如没放行就设置放行.
设置hadoopssh密钥

#su-hadoop:切换到hadoop用户；
$ssh-keygen-trsa
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$chmod0600~/.ssh/authorized_keys
$exit
装置hadoop

到hadoop官网高低载响应格局的源文件，我下的是hadoop2.6.0，解压后将失掉的文件夹付与以后用户实行权限
chmoda+x文件增添文件一切用户组可实行权限
chown-Rliu/usr/local/hadoop-2.6.0/（liu是以后用户名）
然后hadoop2.6.0的三种装置形式能够参考官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#YARN_on_Single_Node
我依照伪散布式形式举行装置的。
运转Wordcount实例

在一个文件夹下创立两个文件

如我在/home/liu/practice文件夹下创立两个文本文件
$echo“HelloWorld”>file1.txt
$echo“HelloHadoop”>file2.txt
$ll(能够检察创立的文件，用cat能够看文件内容）
创立输出文件夹

$hadoopfs-mkdir/user/input
$hadoopfs-ls/user(显现创立的input目次信息）
将下面创立的文本文件复制到input目次下

$hadoopfs-put/home/liu/practice/file*.txt/user/input
$hadoopfs-ls/user/input(显现复制后的内容）
运转和检察了局

$hadoopjar/usr/local/hadoop/hadoop-examles-2.6.0.jarwordcount/user/input/user/output
$hadoopfs-ls/user/output（检察输入内容，了局就在part-r-00000中）
$hadoopfs-cat/user/output/part-r-00000(检察输入了局）

登录/注册后可看大图

如果您觉得本篇CentOSLinux教程讲得好，请记得点击右边漂浮的分享程序，把好文章分享给你的好朋友们！

确实不错，顶先

学习Linux，应该怎样学，主要学些什么，一位Linux热心学习者，一段学习Linux的风云经验，历时十二个小时的思考总结，近十位网络Linux学习者权威肯定，为您学习Linux指明方向。

学习Linux系统在服务中的配置方法及使用方法。Linux在服务器中应用相当广，应对常用的apache,samba,ftp等服务器基本配置清楚了解。[重点，应巩固学习]

期间我阅读了不少关于Linux的相关资料，其中也不乏一些有趣的小故事，这既丰富了我的课余生活，也让我加深了对一些术语的理解，比玩游戏强多了。?

为什么要学Linux呢？每个人都有不同的看法，下面我说说自己的感想吧。?

对于英语不是很好的读者红旗 Linux、中标Linux这些中文版本比较适合。现在一些Linux网站有一些Linux版本的免费下载，这里要说的是并不适合Linux初学者。

不同于Windows?系统需要花钱购买，因为Linux的核心是免费的，自由使用的，核心源代码是开放的。

我们自学，就这个循环的过程中，我们学习了基本操作，用vi，shell，模拟内存的分配过程等一些OS管理。