|
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
不同版本的Linux命令数量不一样,这里笔者把它们中比较重要的和使用频率最多的命令。
Apache中克制收集爬虫,之前设置了良多次的,但老是不起感化,本来是是写错了,不克不及写到Dirctory中,要写到Location中
代码以下:
<Location/>
SetEnvIfNoCaseUser-Agent"spider"bad_bot
BrowserMatchNoCasebingbotbad_bot
BrowserMatchNoCaseGooglebotbad_bot
OrderDeny,Allow
#上面是克制soso的爬虫
Denyfrom124.115.4.124.115.0.64.69.34.135216.240.136.125218.15.197.69155.69.160.9958.60.13.121.14.96.58.60.14.58.61.164.202.108.7.209
Denyfromenv=bad_bot
</Location>
这是克制了一切包括spider字符的爬虫。
假如要针对性的克制爬虫,改成准确婚配的爬虫字符串,假如bingbot、Googlebot等等
安装和登录命令:login、shutdown、halt、reboot、mount、umount、chsh |
|