仓酷云

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 432|回复: 8
打印 上一主题 下一主题

[其他Linux] 来谈谈:apache克制搜刮引擎收录、收集爬虫收罗的设置办法

[复制链接]
不帅 该用户已被删除
跳转到指定楼层
#
发表于 2015-1-16 11:39:21 | 只看该作者 回帖奖励 |正序浏览 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
不同版本的Linux命令数量不一样,这里笔者把它们中比较重要的和使用频率最多的命令。
Apache中克制收集爬虫,之前设置了良多次的,但老是不起感化,本来是是写错了,不克不及写到Dirctory中,要写到Location中
代码以下:

<Location/>
SetEnvIfNoCaseUser-Agent"spider"bad_bot
BrowserMatchNoCasebingbotbad_bot
BrowserMatchNoCaseGooglebotbad_bot
OrderDeny,Allow
#上面是克制soso的爬虫
Denyfrom124.115.4.124.115.0.64.69.34.135216.240.136.125218.15.197.69155.69.160.9958.60.13.121.14.96.58.60.14.58.61.164.202.108.7.209
Denyfromenv=bad_bot
</Location>


这是克制了一切包括spider字符的爬虫。
假如要针对性的克制爬虫,改成准确婚配的爬虫字符串,假如bingbot、Googlebot等等

安装和登录命令:login、shutdown、halt、reboot、mount、umount、chsh
愤怒的大鸟 该用户已被删除
8#
发表于 2015-3-20 21:10:48 | 只看该作者
我学习Linux的心得体会 ,希望对大家的学习有所帮助,由于水平有限,本文难免有所欠缺,望请指正。
小妖女 该用户已被删除
7#
发表于 2015-3-13 22:08:51 | 只看该作者
如果你想深入学习Linux,看不懂因为文档实在是太难了。写的最好的、最全面的文档都是英语写的,最先发布的技术信息也都是用英语写的。
只想知道 该用户已被删除
6#
发表于 2015-3-13 22:08:49 | 只看该作者
放手去搞。尽量不要提问,运用搜索找答案,或者看wiki,从原理上理解操作系统的本质,而不是满足于使用几个技巧。尽量看英文资料。
海妖 该用户已被删除
5#
发表于 2015-3-6 21:36:48 | 只看该作者
随着Linux技术的更加成熟、完善,其应用领域和市场份额继续快速增大。目前,其主要应用领域是服务器系统和嵌入式系统。然而,它的足迹已遍布各个行业,几乎无处不在。
冷月葬花魂 该用户已被删除
地板
发表于 2015-2-7 09:48:59 | 只看该作者
我想即使Linux高手也很难快速准确精练的回答你。
柔情似水 该用户已被删除
板凳
发表于 2015-2-1 16:14:09 | 只看该作者
把这个问题放在其他Linux社区请求帮助也是一种选择。如果Linux得不到答案,请不要以为我们觉得无法帮助你。有时只是看到你问题的人不知道答案罢了。这时换一个社区是不错的选择。
因胸联盟 该用户已被删除
沙发
发表于 2015-1-24 12:49:35 | 只看该作者
熟读写基础知识,学得会不如学得牢。
谁可相欹 该用户已被删除
楼主
发表于 2015-1-18 08:02:57 | 只看该作者
为什么要学Linux呢?每个人都有不同的看法,下面我说说自己的感想吧。?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|仓酷云 鄂ICP备14007578号-2

GMT+8, 2024-12-26 02:33

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表