|
|
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
ASP是依赖组件的，能访问数据库的组件好多就有好多种,再有就是你微软的工具可是什么都要收钱的啊！3、怎样埋没页面以防被搜刮
在收集上为我们导航的搜刮引擎利用一些小程序---比方我们所晓得的robots、bots、crawlers和spiders---来对页面举行索引。但是，当开辟一个站点，特别是利用ASP举行开辟时，做到避免页面被索引倒是十分有效的。当这些搜刮引擎正在回忆它们对所创立的web页面举行静态索引的计划时，比方ASP页面，本文将匡助你进修一些主要的技能来制止robots跟踪那些你不宁愿被它们索引的页面。
这为何与你有关？
例如说如今你会见了XYZ公司的Web站点，用你所熟习的搜刮引擎对XYZCorp.举行搜刮。假如你发明你的办理页面也在相干的链接表中的话就会有点忧虑了。假如你有一个电子商务站点，你会不肯意在用户停止后面的页面之前，失掉这个站点的订单部分最初一页的url。不单单是网管职员不但愿产生的。关于用户来讲，有些页面不克不及一般运转也是懊恼的事，大概是由于他们没有得当的权限，大概由于他们没有依照设定的按次会见页面。如许也倒霉于你的站点的名誉。这与那些贸易搜刮引擎的谋划者本身也有干系。由于他们想要供应正确的链接来改良服务。
那末，怎样避免这些程序对你的站点的某些页面举行索引呢？有两种办法可供选择，一是在根目次下包括一个名为robots.txt的文件，大概是利用<META>标志。
包括一个robots.txt文件
早在1994年，一个主动邮件发送列表就团结提出了一个避免robots拖拽站点的协议。可是这并非一个正式的尺度，它不克不及供应实行的包管，可是却为很多robot作者所利用。
创立一个robots.txt文件十分复杂，它标明网管职员所但愿的robot举动尺度。注重文件名必需用小写字母，并且必需放在站点的根文件夹中，比方http://xyzcorp/robots.txt，如许一个文件就可以带出全部站点的全体细节。
一个robots.txt文件中有甚么？
每一个robots.txt文件包括一条或多笔记录。一笔记录由robot的用户代办署理字符串构成，即你乐意遵守的唆使和使用于它的唆使。不必忧虑你必要晓得在web中周游的一切robot的用户代办署理字符串，由于你能够用通配符*来使用一切的robots。以下是一个纪录的例子：
User-agent:*
Disallow:/XYZfinances.asp
Disallow:/admin
Disallow:/news/update.asp
除用户代办署理字符串/通配符，只必要包括一个disallow命令。这一个复杂的例子就显现了你将会必要的全体大概性。它标明没有效户代办署理字符串可以进进XYZfinances.asp，用这一行暗示：
Disallow:/XYZfinances.asp
大概说用户代办署理字符串不克不及进进办理文件夹及其上面的一切文件夹：
Disallow:/admin
大概是旧事文件夹中的update.asp文件，假如旧事文件夹中一切别的内容都能够被索引的话。
在一笔记录中你乐意包括几用户代办署理字符串的名字都能够。一样在任何一个robots.txt文件中，你乐意包括几笔记录都能够（只需用一个或多个空行分开开这些纪录就能够）。
每条独自的纪录都能够为一个或多个robots供应分歧的唆使。可是为那些没有效用户代办署理字符串所定名的引擎增添一个通配符划定规矩是明智的。最盛行的选择是保护用一笔记录和一个代表用户代办署理字符串的通配符所暗示一个计划。一个有196个用户代办署理的清单可参考
http://info.webcrawler.com/mak/projects/robots/robots.html。
广泛以为，robots应当疏忽巨细写和版本号。要记着这是年夜多半贸易搜刮引擎的robots作者们的定见，由于你不想用那些没用的页面来利用户感应忧?。可是，固然在命令行中你能够不用思索巨细写，可是必需包管在键进URL时是正确无误的。固然WindowsNT对文件名和路径名的巨细写无所谓，但并非一切的平台都云云。
你但愿包括出来的别的器材就只要正文了，这些利用UNIXbourneshell协议，如用#标记暗示在hash标记后面空缺，和一行中能够被疏忽的残剩部分。假如一行中只包括一个正文的话，它就能够完整被疏忽，固然它在纪录之间的感化与空行其实不不异。
如今来看看两个终极的例子。
例1
#Dontcometothissite
User-agent:*
Disallow:/#Disallowsanything
例2
#robots.txtforXYZcorp
#webmaster:JohnDoecontactJohnD@xyzcorp.com
User-agent:*#Appliestoallrobotsexceptnextrecord
Disallow:/store/order/#NorobotshouldvisitanyURLstartingwith
/store/order/
Disallow:/admin/#Disallowanypagesintheadminfolder
Disallow:/world_domination.asp#Disallowworld_domination.asp
好，这就是有关robot.txt文件的全体内容。上面先容怎样利用<META>标志。
利用一个<META>robot标志
一样，你仍是不克不及包管一个robot会完整恪守<META>标志中的唆使，可是对贸易搜刮引擎来讲仍是非常无效的。<META>标志必需包括在一个文件的<HEAD>部分。他们事情的道理是告知robot是不是能够对个中有这个标志的页面举行索引，是不是能够跟从页面上或其下的文件夹中的任何链接。
一样，语法十分复杂。第一个例子是：
<METANAME="robots"CONTENT="noindex">
这行代码告知robot不要索引这一页。
下一个例子：
<METANAME="robots"CONTENT="nofollow">
同意robot索引这一页，可是划定它不克不及够跟从这一页上的任何链接。假如你想将两者都克制，可使用:
<METANAME="robots"CONTENT="noindex,nofollow">
这暗示不要索引这一页，也不要跟从这页上的任何链接。可是，另有一个更复杂的办法：
<METANAME="robots"CONTENT="none">
仍是暗示不要索引这一页，或跟从这页上的任何链接。
不幸的是，假如你有一个名为admin.asp的文件与update.asp相链接，在admin.asp中利用<META>
标志来避免robot对admin.asp或update.asp举行索引，却健忘在另外一个与update.asp相链接的
页面中也做一样的处置，那末robot仍是能够经由过程这个遗漏<META>标志的第二页而抵达update.asp。
别的，你还可使用值索引。但因为它们被疏忽时是默许值，因而这是没有需要的，并且如许做没成心义。
假如你利用的是IIS，那末应当老是利用定制的HTTP头文件来实行<META>标志办法。从实际上讲，一个robot对以这类体例创立的<META>标志的反响应当是完整一样的，看起来是如许：
<METAHTTP-EQUIV="robots"CONTENT="noindex">
从实际上讲，如今我们就能够对一切的文件夹或文件夹中的文件或假造路径利用IIS创立的定制头文件。可是到今朝为止，这类办法的测试其实不乐成。这些办法都不克不及完整包管将你的页面躲起来。的确，假如有人存心写一个robot往找到你的私用页面的话，他们反而成了指向作者想要回护的页面的指针。可是，关于避免贸易站点索引页面来讲，这些办法仍是见效的，也只要在这方面是成心义的。
</p>问题是他们究竟是喜欢他们是使用软件时,速度快还是速度慢好.(当然在3秒以内).无论是他们输入资料时,查找资料时,分析资料时. |
|
|Archiver|手机版|仓酷云
鄂ICP备14007578号-2
发表于 2015-1-16 23:22:33
收藏
转播
分享
淘帖
顶
踩
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
窥视卡
雷达卡
发表于 2015-2-9 06:29:31