仓酷云

标题: Linux编程之RedHat 5.4 体系上部署 MooseFS散布式文件体系的部署仓酷云 [打印本页]

作者: 蒙在股里 时间: 2015-1-18 11:30
标题: Linux编程之RedHat 5.4 体系上部署 MooseFS散布式文件体系的部署仓酷云
使用gcc或g++进行编译，使用gdb进行调试；
第一，散布式文件体系的先容
散布式文件体系无数十种计划可供选择。如：ustre，hadoop，Pnfs等。另有上面要完成的moosfesmoosfes文件体系具有以下几个长处
1实行复杂。MFS(便是moosfes)的部署，设置相对其他范例的散布式文件体系来数，绝对复杂。
2在一直止服务时，就可以对该文件体系举行扩容。MFS框架做好后，随时就能够能够对服务器举行扩大容量；在举行扩大，削减容量的同时都不会对现有服务形成影响。注：hadoop也具有该功效
3简单恢复。
4高牢靠性，将数据分红几个正本存储在分歧的盘算机中；经由过程增添盘算机大概增添硬盘，静态的扩大可用磁盘空间；能够设置删除文件的空间接纳工夫；同时也能为文件创立快照
6．mfs文件体系的构成
1，原数据服务器。卖力办理文件体系
2数据服务器，便是chunkserver。真正存储用户的数据服务器。存储文件时，起首把文件分红数据块，然后这些数据块存在数据服务器chunkserver之间复制。数据服务器能够逝世多个，并将数据服务器的数目越多，可以使用的“磁盘空间”越年夜，同时牢靠性也就越高
3，客户端。利用MFS文件体系来存储和会见的主机称为mfs的客户端，乐成挂接MFS文件体系后，就能够共享该假造性的存储
7MooseFS（便是mfs）架构（以下图）
mfs包含四品种型的呆板
lMangagingServer（masterserver）
lDataservers（chunkservers）
lMetadatabackupservers(metaloggerserver)
lClient

<br>

第二．Masterserver(元数据服务器)的安装
1起首创立用户mfs
#useradd–s/sbin/nologinmfs
2设置安装数据源服务器
#tar-xvfmfs-1.6.17.tar.gz
#cdmfs-1.6.17
#./configure--prefix=/usr/local/mfs--disable-mfschunkserver--disable-mfsmount–with-default-user=mfs--with-default-group=mfs
#make&&makeinstall
3设置数据服务器的相干设置文件
#cd/usr/local/mfs/etc
#cpmfsexports.cfg.distmfsexports.cfg
#cpmfsmaster.cfg.distmfsmaster.cfg
#cd/usr/local/mfs/var/mfs
#cpmetadata.mfs.emptymetadata.mfs
4修正mfsexports.cfg，mfsmaster.cfg
IP/rw,alldirs,maproot=0
注：IP是同意挂载的主机，该处能够是域名，主机名，IP地点
#vimmfsmaster.cfg
mfsmaster.cfg每行都是被正文失落了，可是都是设置文件的默许值。
?LOCK_FILE=/var/run/mfs/mfsmaster.lock
注：文件锁在的地位，该文件次要是制止屡次启动统一个保卫历程。
?DATA_PATH=/user/local/mfs/var/mfs数据存储路径，只是元数据的寄存路径，
?MATOCS_LISTEN_PORT=9420即元数据服务利用9420这个端口来承受数据贮存服务器chunkserver真个毗连
?MATOCU_LISTEN_PORT=9421元数据服务器在9421端口监听，用用以承受客户端关于MFS举行远程挂接（客户端以mfsmount挂接MFS）
5启动元数据服务器master
#/usr/local/mfs/sbin/mfsmasterstart
workingdirectory:/usr/local/mfs/var/mfs
lockfilecreatedandlocked
initializingmfsmastermodules...
loadingsessions...ok
sessionsfilehasbeenloaded
exportsfilehasbeenloaded
loadingmetadata...
loadingobjects(files,directories,etc.)...ok
loadingnames...ok
loadingdeletiontimestamps...ok
checkingfilesystemconsistency...ok
loadingchunksdata...ok
connectingfilesandchunks...ok
allinodes:6
directoryinodes:2
fileinodes:4
chunks:46
metadatafilehasbeenloaded
statsfilehasbeenloaded
master<->metaloggersmodule:listenon*:9419
master<->chunkserversmodule:listenon*:9420
mainmasterservermodule:listenon*:9421
mfsmasterdaemoninitializedproperly

6封闭原数据服务器master

在封闭元数据服务器master，务必利用/usr/local/mfs/sbin/mfsmaster–s

假如间接利用kill杀逝世历程，招致下次启动时呈现找不到相干文件，而不克不及一般启动服务器。假如利用kill杀逝世历程，时呈现下面的成绩时，能够经由过程mfsmetastore来恢复
第三，安装数据贮存服务器chunkserver
1解压mfs
#tar-xvfmfs-1.6.17.tar.gz
#cdmfs-1.6.17
2创立mfs用户
#useradd-s/sbin/nologinmfs
3设置安装mfs
#./configure–prefix=/usr/local/mfs--disable-mfsmaster–disable-mfsmount–with-default-user=mfs--with-default-group=mfs
#make&&makeinstall
4修正相干的设置文件
#cd/usr/local/mfs/etc
#cpmfschunkserver.cfg.distmfschunkserver.cfg
#cpmfshdd.cfg.distmfsshdd.cfg
#vimmfschunkserver.cfg
作废以下正文
MASTER_HOST=192.168.2.1
注：该处的ip地点为元数据服务器的IP地点，此处能够设置元数据服务器的域名等
LOCK_FILE=/var/run/mfs/mfschunkserver.lock
注：文件锁在的地位，该文件次要是制止屡次启动统一个保卫历程

CSSERV_LISTEN_PORT=9422该端口用于与其他数据贮存服务器间的毗连，一般是数据复制

HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg

注：分派给MFS利用的磁盘空间设置文件的地位

5修正设置文件mfshdd.cfg服务分区挂接点/data，并修正属主
#chown-Rmfs:mfs/data
注：mfshdd.cfg文件存的是用来给MooseFs利用的空间，假如是单个chunkserver的贮存空间最好年夜于2g，不然没法写进空间
6启动数据贮存服务器chunkserver
#/usr/local/mfs/sbin/mfschunkserverstart
workingdirectory:/usr/local/mfs/var/mfs
lockfilecreatedandlocked
initializingmfschunkservermodules...
hddspacemanager:scanningfolder/mnt/data/...
hddspacemanager:/mnt/data/:46chunksfound
hddspacemanager:scanningcomplete
mainservermodule:listenon*:9422
statsfilehasbeenloaded
mfschunkserverdaemoninitializedproperly
7数据贮存服务器chunkserver监听的端口为9422，一样封闭数据贮存服务器时一样和元数据服务器的办法相似
#/usr/local/mfs/sbin/mfschunkserver–s

第四，安装元数据日记服务器mfsmetalogger
1创立mfs用户
#useradd-s/sbin/nologinmfs
2安装元数据日记服务器
#tar–xvfmfs-1.6.17.tar.gz
#cdmfs-1.6.17
#./configure--prefix=/usr/local/mfs--disable-mfschunkserver--disable-mfsmount--with-default-user=mfs--with-default-user=mfs
#make&&makeinstall
3修正相干设置
#cd/usr/local/mfs/etc
#cpmfsmetalogger.cfg.distmfsmetalogger.cfg
#vimmfsmetalogger.cfg
并把修正上面的选项
MASTER_HOST=mfsmaster为
MASTER_HOST=192.168.2.1此地点为mfsmaster的ip地点
并保留
back_logs=50
META_DOWNLOAD_FREQ=24注：元数据备份文件下载哀求频次，默许为24小时，即每一个一天重元数据服务器(master)下载一个metadata.mfs.back文件。但元数据服务器封闭大概妨碍时，matedata.mfs.back文件将消散，假如要复兴全部mfs。则必要从metalogger服务器获得该文件。该文件与日记文件在一同时，才干恢复全部被破坏的散布式文件体系
4启动元数据日记服务器
#/usr/local/sbin/mfsmetaloggerstart
workingdirectory:/usr/local/mfs/var/mfs
lockfilecreatedandlocked
initializingmfsmetaloggermodules...
mfsmetaloggerdaemoninitializedproperly
注：metalogger毗连的master的9419端口

第五.MFS客户真个安装

1创立，mfs用户
#useradd-s/sbin/nologinmfs

2解压安装fuse
#tar–xvffuse-2.8.5.tar.gz
#cdfuse-2.8.5
#./configure-prefix=/usr/local/fuse
#make&&makeinstall
3设置fuse的情况
#vim/etc/profile并在其尾部增加以下设置
exportPKG_CONFIG_PATH=/usr/local/fuse/lib/pkgconfig:$PKG_CONFIG_PATH
保留并实行
#source/etc/profile
4解压，安装mfs客户端
#tar–xvfmfs-1.6.17.tar.gz
#cdmfs-1.6.17
#./configure--prefix=/user/local/mfs--disable-mfsmaster–disable-mfschunkserver–enable-mfsmount--with-default-user=mfs--with-default-group=mfs
#make&&makeinstall
5挂载MooseFs
#mkdir/mnt/mfs
#/usr/local/mfs/bin/mfsmount–H192.168.2.1/mnt/mfs
mfsmasteracceptedconnectionwithparameters:read-write,restricted_ip;rootmappedtoroot:root

由于在linux中，用户权限很大，做任何事情都很自由，所以，你往往需要知道你做的每一步在干什么。

作者: 活着的死人 时间: 2015-1-21 08:48
未来的学习之路将是以指数增加的方式增长的。从网管员来说，命令行实际上就是规则，它总是有效的，同时也是灵活的。

作者: 简单生活 时间: 2015-1-30 12:49
我想即使Linux高手也很难快速准确精练的回答你。

作者: 深爱那片海 时间: 2015-2-4 15:54
让我树立了很大的信心学好这门课程，也学到了不少专业知识和技能。?

作者: 柔情似水 时间: 2015-2-7 02:46
熟悉系统的基本操作，Linux的图形界面直观，操作简便，多加上机练习就可熟悉操作，在Linux下学习办公软件等常用软件。

作者: 山那边是海 时间: 2015-2-19 21:21
Linux高手更具有鼓励新手的文化精神。如何在Linux社区获得帮助，需要说明的是你要有周全的思考，准备好你的问题，不要草率的发问。

作者: 精灵巫婆 时间: 2015-2-21 21:08
熟读写基础知识，学得会不如学得牢。

作者: 再现理想 时间: 2015-3-2 10:53
另外Linux上也有很多的应用软件，安装运行了这些软件后，你就可以在Linux上编辑文档、图?片,玩游戏、上网、播放多媒体文件等。

作者: 再见西城 时间: 2015-3-11 03:18
期间我阅读了不少关于Linux的相关资料，其中也不乏一些有趣的小故事，这既丰富了我的课余生活，也让我加深了对一些术语的理解，比玩游戏强多了。?

作者: 灵魂腐蚀 时间: 2015-3-17 19:10
对我们学习操作系统有很大的帮助，加深我们对OS的理解。?

作者: 金色的骷髅 时间: 2015-3-24 21:36
掌握硬件配置，如显卡，声卡，网卡等，硬件只要不是太老或太新一般都能被支持，作为一名Linux系统管理员建议多阅读有关硬件配置文章，对各种不支持或支持不太好的硬件有深刻的了解。

欢迎光临仓酷云 (http://ckuyun.com/)