仓酷云

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 911|回复: 9
打印 上一主题 下一主题

[CentOS(社区)] 带来一篇Centos下wget怎样下载全部网站,大概特定目次全体文件

[复制链接]
灵魂腐蚀 该用户已被删除
跳转到指定楼层
楼主
发表于 2015-1-14 21:22:41 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
欢迎大家来到仓酷云论坛!必要下载某个目次上面的一切文件。下令以下
wget-c-r-np-k-L-pwww.xxx.org/pub/path/
鄙人载时。有效到内部域名的图片或毗连。假如必要同时下载就要用-H参数。
wget-np-nH-rCspan-hostswww.xxx.org/pub/path/
-c断点续传
-r递回下载,下载指定网页某一目次下(包含子目次)的一切文件
-nd递回下载时不创立一层一层的目次,把一切的文件下载到以后目次
-np递回下载时不搜刮下层目次,如wget-c-rwww.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目次pub下的别的文件
-k将相对链接转为绝对链接,下载全部站点后脱机扫瞄网页,最好加上这个参数
-L递回时不进进别的主机,如wget-c-rwww.xxx.org/
假如网站内有一个如许的链接:
www.yyy.org,不加参数-L,就会像年夜火烧山一样,会递回下载www.yyy.org网站
-p下载网页所需的一切文件,如图片等
-A指定要下载的文件款式列表,多个款式用逗号分开
-i前面跟一个文件,文件内指明要下载的URL
另有其他的用法,我从网上搜刮的,也一并写下去,便利今后本人利用。
wget的罕见用法
wget的利用格局
Usage:wget[OPTION]…[URL]…
*用wget做站点镜像:
wget-r-p-np-khttp://dsec.pku.edu.cn/~usr_name/
#大概
wget-mhttp://www.tldp.org/LDP/abs/html/
*在不不乱的收集高低载一个部分下载的文件,和在余暇时段下载
wget-t0-w31-chttp://dsec.pku.edu.cn/BBC.avi-odown.log&
#大概从filelist读进要下载的文件列表
wget-t0-w31-c-Bftp://dsec.pku.edu.cn/linuxsoft-ifilelist.txt-o
down.log&
下面的代码还能够用来在收集对照余暇的时段举行下载。我的用法是:在mozilla中将不便利事先下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中,在早晨要进来体系前实行下面代码的第二条。
*利用代办署理下载
wget-Yon-p-khttps://sourceforge.net/projects/wvware/
代办署理能够在情况变量或wgetrc文件中设定
#在情况变量中设定代办署理
exportPROXY=http://211.90.168.94:8080/
#在~/.wgetrc中设定代办署理
http_proxy=http://proxy.yoyodyne.com:18023/
ftp_proxy=http://proxy.yoyodyne.com:18023/
wget各类选项分类列表
*启动
-V,Cversion显现wget的版本前进出
-h,Chelp打印语法匡助
-b,Cbackground启动后转进背景实行
-e,Cexecute=COMMAND
实行`.wgetrc’格局的下令,wgetrc格局拜见/etc/wgetrc或~/.wgetrc
*纪录和输出文件
-o,Coutput-file=FILE把纪录写到FILE文件中
-a,Cappend-output=FILE把纪录追加到FILE文件中
-d,Cdebug打印调试输入
-q,Cquiet宁静形式(没有输入)
-v,Cverbose冗杂形式(这是缺省设置)
-nv,Cnon-verbose关失落冗杂形式,但不是宁静形式
-i,Cinput-file=FILE下载在FILE文件中呈现的URLs
-F,Cforce-html把输出文件看成HTML格局文件看待
-B,Cbase=URL将URL作为在-F-i参数指定的文件中呈现的绝对链接的前缀
CSSlcertfile=FILE可选客户端证书
Csslcertkey=KEYFILE可选客户端证书的KEYFILE
Cegd-file=FILE指定EGDsocket的文件名
*下载
Cbind-address=ADDRESS
指定当地利用地点(主机名或IP,当当地有多个IP或名字时利用)
-t,Ctries=NUMBER设定最年夜实验链接次数(0暗示无穷制).
-OCoutput-document=FILE把文档写到FILE文件中
-nc,Cno-clobber不要掩盖存在的文件或利用.#前缀
-c,Ccontinue接着下载没下载完的文件
Cprogress=TYPE设定历程条标志
-N,Ctimestamping不要从头下载文件除非比当地文件新
-S,Cserver-response打印办事器的回应
Cspider不下载任何器材
-T,Ctimeout=SECONDS设定呼应超时的秒数
-w,Cwait=SECONDS两次实验之间距离SECONDS秒
Cwaitretry=SECONDS在从头链接之间守候1…SECONDS秒
Crandom-wait鄙人载之间守候0…2*WAIT秒
-Y,Cproxy=on/off翻开或封闭代办署理
-Q,Cquota=NUMBER设置下载的容量限定
Climit-rate=RATE限制下载输率
*目次
-ndCno-directories不创立目次
-x,Cforce-directories强迫创立目次
-nH,Cno-host-directories不创立主机目次
-P,Cdirectory-prefix=PREFIX将文件保留到目次PREFIX/…
Ccut-dirs=NUMBER疏忽NUMBER层近程目次
*HTTP选项
Chttp-user=USER设定HTTP用户名为USER.
Chttp-passwd=PASS设定http暗码为PASS.
-C,Ccache=on/off同意/不同意办事器真个数据缓存(一样平常情形下同意).
-E,Chtml-extension将一切text/html文档以.html扩大名保留
Cignore-length疏忽`Content-Length’头域
Cheader=STRING在headers中拔出字符串STRING
Cproxy-user=USER设定代办署理的用户名为USER
Cproxy-passwd=PASS设定代办署理的暗码为PASS
Creferer=URL在HTTP哀求中包括`Referer:URL’头
-s,Csave-headers保留HTTP头到文件
-U,Cuser-agent=AGENT设定代办署理的称号为AGENT而不是Wget/VERSION.
Cno-http-keep-alive封闭HTTP举动链接(永久链接).
Ccookies=off不利用cookies.
Cload-cookies=FILE在入手下手会话前从文件FILE中加载cookie
Csave-cookies=FILE在会话停止后将cookies保留到FILE文件中
*FTP选项
-nr,Cdont-remove-listing不移走`.listing’文件
-g,Cglob=on/off翻开或封闭文件名的globbing机制
Cpassive-ftp利用主动传输形式(缺省值).
Cactive-ftp利用自动传输形式
Cretr-symlinks在递回的时分,将链接指向文件(而不是目次)
*递回下载
-r,Crecursive递回下载--慎用!
-l,Clevel=NUMBER最年夜递回深度(inf或0代表无量).
Cdelete-after在如今终了后部分删除文件
-k,Cconvert-links转换非绝对链接为绝对链接
-K,Cbackup-converted在转换文件X之前,将之备份为X.orig
-m,Cmirror等价于-r-N-linf-nr.
-p,Cpage-requisites下载显现HTML文件的一切图片
*递回下载中的包括和不包括(accept/reject)
-A,Caccept=LIST分号分开的被承受扩大名的列表
-R,Creject=LIST分号分开的不被承受的扩大名的列表
-D,Cdomains=LIST分号分开的被承受域的列表
Cexclude-domains=LIST分号分开的不被承受的域的列表
Cfollow-ftp跟踪HTML文档中的FTP链接
Cfollow-tags=LIST分号分开的被跟踪的HTML标签的列表
-G,Cignore-tags=LIST分号分开的被疏忽的HTML标签的列表
-H,Cspan-hosts当递回时转到内部主机
-L,Crelative仅仅跟踪绝对链接
-I,Cinclude-directories=LIST同意目次的列表
-X,Cexclude-directories=LIST不被包括目次的列表
-np,Cno-parent不要追溯到父目次

欢迎大家来到仓酷云论坛!
爱飞 该用户已被删除
沙发
发表于 2015-1-17 11:18:31 | 只看该作者
硬盘安装及光盘安装,清楚了解安装Linux应注意的有关问题,如安装Linux应在最后一个分区内,至少分二个分区。
谁可相欹 该用户已被删除
板凳
发表于 2015-1-17 11:18:31 | 只看该作者
上课传授的不仅仅是知识,更重要的是一些道理,包括一些做人的道理,讲课时也抓住重点,循序渐进,让同学理解很快;更可贵的是不以你过去的成绩看问题.
乐观 该用户已被删除
地板
发表于 2015-1-26 15:17:47 | 只看该作者
Linux简单,占内存少,特别是对于程序开发人员来说很方便,如果说windows的成功在于其方便用户的窗口管理界面。
柔情似水 该用户已被删除
5#
发表于 2015-2-4 21:43:26 | 只看该作者
直到学习Linux这门课以后,我才知道,原来我错了。?
小魔女 该用户已被删除
6#
发表于 2015-2-10 21:47:57 | 只看该作者
上课传授的不仅仅是知识,更重要的是一些道理,包括一些做人的道理,讲课时也抓住重点,循序渐进,让同学理解很快;更可贵的是不以你过去的成绩看问题.
admin 该用户已被删除
7#
发表于 2015-3-1 17:07:47 | 只看该作者
硬盘安装及光盘安装,清楚了解安装Linux应注意的有关问题,如安装Linux应在最后一个分区内,至少分二个分区。
分手快乐 该用户已被删除
8#
发表于 2015-3-10 23:39:04 | 只看该作者
Linux最大的特点就是其开源性,这一点是十分难得的,这也是它能够存在到现在的原因之一。
若天明 该用户已被删除
9#
发表于 2015-3-17 18:09:42 | 只看该作者
虽然大家都比较喜欢漂亮的mm,但是在学 linux 的过程中,还是要多和“男人”接触一下:P 遇到问题的时候,出来看说和上网查之外,就是要多用 linux 下的 man 命令找找帮助。
金色的骷髅 该用户已被删除
10#
发表于 2015-3-24 22:34:52 | 只看该作者
下面笔者在论坛看到的一个好问题: “安装红旗4.0后,系统紫光输入法自带的双拼方案和我的习惯不一样,如何自定义双拼方案解决?谢谢?”这个问题很简练。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|仓酷云 鄂ICP备14007578号-2

GMT+8, 2024-9-29 07:14

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表