ASP.NET网站制作之怎样完成小型WEB搜刮引擎(C#+SQL Serve...

前几天同学问我学习方向的问题。有点想法，不知道对不对，怕误导同学，现在“开源一下”。注：括号内是我现在整理的时填加上的。asp.net|server|sql|web|全文检索|搜刮引擎1弁言

21世纪，中国互联网搜刮引擎范畴可谓群雄逐鹿，百度、Yahoo、中搜、搜狗等等都使出满身解数吸引着网平易近的眼球。这些年夜网站可谓是各有所长，总的来讲固然他们搜刮功效都很强，可是搜刮失掉的了局基础上是一模一样，信息的冗余量很年夜，网平易近不能不在一次又一次的翻页中华侈工夫，大概为了想出一个好的关头词而挖空心思。如果有一个有针对性的搜刮引擎就行了，而且这个针对性应当是能够把持的。

2SOSO的由来

笔者在上彀搜刮的过程当中曾有如许疾苦的履历。因为笔者喜好编程，常常必要上彀查找手艺材料。可是搜到的了局常常是来自一些不起眼的小网站，它们次要是转载CSDN，赛迪网等一些手艺年夜站上的文档，可爱的是，这些小网站经常转载不全，告白成堆，乱弹窗口，更有甚者另有病毒、木马等防不堪防。笔者事先想，假如有一个“IT手艺文档搜刮引擎”就行了，惋惜没有，因而就本人下手做吧。我把CSDN、IT168、赛迪网等IT手艺网站存储在“被搜网站库”中，按必定的周期启动Spider（蜘蛛）程序（Spider的道理前面讲），Spider搜到的了局按必定格局临时存在硬盘上，然后由Carrier（搬运工）程序异步转存到数据库中，再使用SQLServer壮大的全文检索（不是用Like语句J）分离Asp.net做出查询界面，这便有了SOSO的原型。因为SOSO只搜特定的网站，数目少，因而数据更新的速率更快，并且因为事前对网站就有了选择，搜到的了局质量也对照高，比用年夜型搜刮引擎有更好的用户体验。厥后笔者想起校收集中央的先生曾发起做一个专门搜刮华师校内一切网站信息的搜刮引擎，便做了Scanner程序，它的功效是检索出给定的IP局限内一切的网站，并把这些网站的次要信息存进“被搜网站库”。因而便有了“华师人本人的WEB搜刮引擎------MySOSO”,网址http://it.ccnu.edu.cn/mysoso。网站推出后遭到了同砚们的好评，校向导也曾在校收集建立事情集会上点名表彰。有个同砚说：“之前想查一下校先生会主席的材料，用Google和Baidu搜到的了局都不睬想，由于重名的太多了。有了MySOSO就很多多少了，搜到网页也都是来历于校内各年夜网站，实在牢靠。”

3SOSO的手艺申明


3.1SOSO的事情情况

软件情况：Windows平台（保举Win2000,Win2003Server）＋.NET1.1Framework＋SQLServer2000。硬件情况：服务器一台，设置越高越好。固然有多台服务器更好，如许Spider能够并行地在多台呆板上跑。

3.2SOSO的基础道理

SOSO次要由五部分构成，数据库＋WebScanner＋WebSpider+Carrier＋Asp.net网站。

数据库次要有三张表：被搜网站表，网页表，关头词表。被搜网站表寄存着Spider要往会见的网站的网址及其他基础信息，网页表寄存搜到的网页的基础信息，关头词表纪录用户检索过的关头词及其频次。数据库里还寄存着一些存储历程，以供别的模块挪用。别的，由于用到了SQLServer的全文检索功效，还要创立索引文件。

WebScanner是一个用C#编写的基于Console的使用程序，它的感化是扫描必定IP局限的一切网站的基础信息，并将其存进数据库。因为接纳了多线程手艺，扫描是对照快的。经测试，扫描华师的IP局限202.114.32.1~202.114.47.255，失掉89个网站只用了45秒。

WebSpider是一个用C#编写的基于Console的使用程序，它的感化是会见数据库中给出的网站，并把网站的网页抓取上去，抓取的道理是使用正则表达式（能够顺应各类网页），条记全心计划了一个WebPage类，它可猎取给定网址的网页的一切链接、站内链接，链接笔墨、纯文本、网页巨细、题目等等一系列信息。取得的网页信息数据放进内存中的一个全局数据行列布局，而全局数据行列每隔必定周期被序列化后以文件的情势存于硬盘上，并将本身清空。WebSpider的外部接纳了多线程手艺，每一个线程保护本人的广度优先遍历行列，因而速率十分快，经华师校内测试，每分钟均匀抓取1,050张网页。别的，还能够在设置文件中设定Spider的同时最年夜并发线程、线程保存周期、搜刮深度、数据序列化周期、特定网站过滤等参数。

Carrier是个批处置文件，它的感化是把WebSpider输入的序列化的数据从硬盘“搬”到数据库中。那末为何WebSpider不间接把数据插到数据库内里呢？由于SQLServer在吸收大批数据拔出哀求时，效力会下落，前台Asp.net网站的查询效力就会下落，查询工夫变长。因而笔者在计划时接纳了异步形式，WebSpider只卖力搜集数据，Carrier来卖力数据拔出数据库，如许经由过程公道的工夫调剂就能够制止瓶颈的呈现。这类异步事情形式在有多台盘算机运转WebSpider时上风将加倍分明。

搜刮网站是用Asp.net开辟的，基础道理信任做过网站的人都晓得。SOSO的亮点表现在三个中央。起首是对关头词分词的处置。因为笔者对这方面的算法研讨不深，因而用了Split()加上SQLServer的FreeText功效完成了含混查询。基础道理是如许的，好比说，当用户查询“刘德华天王mp3”时，起首以与逻辑即contains“刘德华天王andmp3”举行查询，假如无纪录，则用或逻辑查询即contains“刘德华天王ormp3”。假如仍是无纪录，则用SQLServer的FreeText举行分词，大概前往婚配“刘德华”,“天王”,”mp3”傍边恣意一个词的纪录，而且依照相干度的上下排序。其次，此网站的分页算法接纳了“按需讨取”的准绳，即每次只从数据库中读取第m条到第m+pagesize-1条数据，因而查询速率仍是对照可不雅的。关头词着色上也做了一些小技能，之前被搜过的关头词的着色正则式会被预编译存在Application全局变量中，因而别的人再搜这个词时速率就很快了。最初要提一下网页右侧那一栏，今朝放的是校内旧事，它实质上是读取了一个RSS源并显现出来。这个RSS源是我做个另外一个体系，它搜集本校五年夜流派网站的旧事并以xml的情势显现。
华中师范年夜学信息手艺系SunJoyccnusjy@gmail.com
也许C#刚上市的时候有些抄袭Java吧，但自从C#2.0上市之后，整个局面就扭转乾坤了，不但Java在模仿C#，而且他从来都没能跟得上C#的脚步。

CGI程序在运行的时候，首先是客户向服务器上的CGI程序发送一个请求，服务器接收到客户的请求后，就会打开一个新的Process（进程）来执行CGI程序，处理客户的请求。CGI程序最后将执行的结果（HTML页面代码）传回给客户。

目前在微软的.net战略中新推出的ASP.net借鉴了Java技术的优点，使用CSharp(C#)语言作为ASP.net的推荐语言，同时改进了以前ASP的安全性差等缺点。但是，使用ASP/ASP.net仍有一定的局限性，因为从某种角度来说它们只能在微软的WindowsNT/2000/XP+IIS的服务器平台上良好运行（虽然像ChilliSoft提供了在UNIX/Linux上运行ASP的解决方案.

但是java靠开源打出的一片天地，特别是在微软的垄断下能打开今天的局面还是有它的生命力的。

目前在微软的.net战略中新推出的ASP.net借鉴了Java技术的优点，使用CSharp(C#)语言作为ASP.net的推荐语言，同时改进了以前ASP的安全性差等缺点。但是，使用ASP/ASP.net仍有一定的局限性，因为从某种角度来说它们只能在微软的WindowsNT/2000/XP+IIS的服务器平台上良好运行（虽然像ChilliSoft提供了在UNIX/Linux上运行ASP的解决方案.

ASP（ActiveServerPages）是Microsfot公司1996年11月推出的WEB应用程序开发技术，它既不是一种程序语言，也不是一种开发工具，而是一种技术框架，不须使用微软的产品就能编写它的代码。

Asp.net：首先来说，Asp.net和Asp没什么关系，看着像是升级版本什么的，其实没什么联系。Asp是脚本编程，用的是ASP语言，而ASP.net用的是C#语言，完全不同的东西。

平台无关性是PHP的最大优点，但是在优点的背后，还是有一些小小的缺点的。如果在PHP中不使用ODBC，而用其自带的数据库函数（这样的效率要比使用ODBC高）来连接数据库的话，使用不同的数据库，PHP的函数名不能统一。这样，使得程序的移植变得有些麻烦。不过，作为目前应用最为广泛的一种后台语言，PHP的优点还是异常明显的。

ASP（ActiveServerPages）是Microsfot公司1996年11月推出的WEB应用程序开发技术，它既不是一种程序语言，也不是一种开发工具，而是一种技术框架，不须使用微软的产品就能编写它的代码。