仓酷云

标题: Linux设计ubuntu 中安装 hadoop 纪录仓酷云 [打印本页]

作者: 爱飞 时间: 2015-1-18 11:21
标题: Linux设计ubuntu 中安装 hadoop 纪录仓酷云
按照它们在系统中的作用分成几个部分介绍给大家，通过这些基础命令的学习我们可以进一步理解Linux系统：
Hadoop版本：hadoop-1.2.1-bin.tar
Jdk版本：jdk-6u30-linux-i586
必要的软件：VMWare9，ubuntu10.04
起首安装vmware9，然后在个中使用ubuntu的镜像安装3个假造机，详细办法能够搜到
在每一个假造机中，实行以下操纵：
（1）创立hadoop用户组：sudoaddgrouphadoop
（2）创立hadoo用户：sudoadduser-ingrouphadoophadoop
（3）给hadoop用户增添权限：sudogedit/etc/sudoers，在rootALL=（ALL:ALL）ALL上面增加以下
hadoopALL=(ALL:ALL)ALL
（4）安装JDK，详细历程以下：
1.下载jdk
2.在/usr/local下创立一个java文件夹
3.将jdk文件拷贝到/usr/local/java中
4.切换到root
5.运转jdk-6u30-linux-i586.bin
6.这时候候在java文件夹中多了一个jdk1.6.0_30文件
7.修正设置文件，在文件~/.bashrc最初增加
exportJAVA_HOME=/usr/local/java/jdk1.6.0_30
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
8.测试jdk是否是安装乐成：$java,假如能准确的输入其版本就代表其安装乐成
(5)修正本机的host文件
sudogedit/etc/hosts
在个中到场：
192.168.15.129master
192.168.15.130son-1
192.168.15.131son-2
(6)修正本机（master）和子节点(son-1...)呆板名
sudogedit/etc/hostname
分离改成master,son-1,son-2
(7)为本机（master）和子节点安装ssh服务
sudoapt-getinstallopenssh-server
(8)先创建ssh无暗码上岸情况
切换到hadoop用户
创立ssh-key,接纳rsa的体例：ssh-keygen-trsa-P“”
(注：回车后会在~/.ssh/下天生两个文件：id_rsa和id_rsa.pub这两个文件是成对呈现的)
进进~/.ssh/目次下，将id_rsa.pub追加到authorized_keys受权文件中，入手下手是没有authorized_keys文件的：
cd~/.ssh
catid_rsa.pub>>authorized_keys
(9)为本机master安装hadoop
1.将hadoop-6u30.tar.gz文件复制到/usr/local下
2.解压文件sudotar-zxfhadoop-6u30.tar.gzhadoop
3.将该hadoop文件夹的属主用户设为hadoop:
sudochown-Rhadoop:hadoophadoop
4.翻开hadoop/conf/hadoop-env.sh文件
sudogedithadoop/conf/hadoop-env.sh
5.修正JAVA_HOME路径，这里的路径是
exportJAVA_HOME=/usr/local/java/jdk-XXX
6.翻开conf/core-site.xml文件，编纂以下：

安装集群时要将个中的localhost改成master主机名大概ip
7.翻开conf/mapred-site.xml文件，编纂以下:

安装集群时要将个中的localhost改成master主机名大概ip
8.翻开conf/hdfs-site.xml,编纂以下：

（10）翻开conf/masters:
sudogedithadoop/conf/masters
在个中增加master
(11)翻开conf/slaves文件，增加作为slave的主机名，一行一个：
sudogedithadoop/conf/slaves
在个中增加：
son-1
son-2
然落后进hadoop目次，格局化文件体系
bin/hadoopnamenode-format
(12)将master呆板上的文件逐一复制到datanode呆板上（son-1,son-2）
都要复制
1.公钥的复制
先要在son-1和son-2hadoop目次下创建.ssh目次，否则没法复制
scp~/.ssh/id_rsa.pubhadoop!son-1:~/.ssh/
2.hosts文件的复制
scp/etc/hostshadoop@son-1;/etc/hosts

常用的linux命令，尤其是一些能帮你提高开发效率的命令，(eg：grep，awk，sed，split等)；

作者: 活着的死人 时间: 2015-1-20 20:57
熟读Linux系统有关知识，如系统目录树，有关内容可购书阅读或搜索论坛。

作者: 不帅 时间: 2015-1-25 09:45
其中不乏很多IT精英的心血。我们学透以后更可以做成自己的OS！?

作者: 再现理想 时间: 2015-2-1 10:21
Linux最大的特点就是其开源性，这一点是十分难得的，这也是它能够存在到现在的原因之一。

作者: 兰色精灵 时间: 2015-2-2 11:48
最好先搜寻一下论坛是否有您需要的文章。这样可以获得事半功倍的效果。

作者: 变相怪杰 时间: 2015-2-3 15:03
在学习linux的工程中，linux学习方法有很多种，这里是小编的学习心得，给大家拿出来分享一下。

作者: 分手快乐 时间: 2015-2-9 02:46
如果上面的措施没有解决问题，此时你就需要Linux社区的帮助了。 Linux的使用者一般都是专业人士，他们有着很好的电脑背景且愿意协助他人。

作者: 仓酷云 时间: 2015-2-16 07:17
随着IT从业人员越来越多，理论上会有更多的人使用Linux，可以肯定，Linux在以后这多时间不会消失。

作者: 金色的骷髅 时间: 2015-2-22 13:59
你需要提供精确有效的信息。Linux这并不是要求你简单的把成吨的出错代码或者数据完全转储摘录到你的提问中。

作者: 莫相离 时间: 2015-3-7 00:31
尽量不要提问纯属是扯蛋.学习Linux特别是自己一个人初学入手的时候没人教很困难.当然如果可以的话平时多去买些Linux书...对学习Linux很有帮助.

作者: 深爱那片海 时间: 2015-3-8 11:43
对于英语不是很好的读者红旗 Linux、中标Linux这些中文版本比较适合。现在一些Linux网站有一些Linux版本的免费下载，这里要说的是并不适合Linux初学者。

作者: 山那边是海 时间: 2015-3-9 03:25
任何人都可以根据自己的喜好来定制适合自己的操作系统，Linux?是抢占式多任务多用户操作系统.

作者: 谁可相欹 时间: 2015-3-16 20:12
一些显而易见的小错误还是用vi改正比较方便。以后的大一点的程序就得在Linux下调试了，因为有的头文件在VC里面说找不到。?

作者: 爱飞 时间: 2015-3-23 00:17
熟悉并掌握安装Linux，安装是学习的前提。目前较常见的安装方法有二种：

欢迎光临仓酷云 (http://ckuyun.com/)