仓酷云

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 4480|回复: 20
打印 上一主题 下一主题

[学习教程] ASP网页设计用ASP完成近程抓取网页到当地数据库

[复制链接]
金色的骷髅 该用户已被删除
跳转到指定楼层
楼主
发表于 2015-2-3 23:42:31 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
Active Server Page技术为应用开发商提供了基于脚本的直观、快速、高效的应用开发手段,极大地提高了开发的效果。在讨论ASP的安全性问题之前,让我们来看看ASP是怎么工作的。数据|数据库|网页       接到一个义务是把中国名牌网站的某些内容添加到咱们的网站上,这些网站上有些页面是文章链接列表,点击链接会呈现文章的具体内容显示页,依据这个纪律,联合正则表达式,XMLHTTP手艺,Jscript办事端剧本,和ADO手艺,写了一个小法式,把这些内容抓取到了当地数据库。抓取上去,然后就数据库对数据库导数据就对照便利了。先创立一个Access数据库,布局以下

Id主动编号标识,主键oldID数字旧数据编码Title题目文本Content备注内容
  详细完成代码以下

<%@LANGUAGE="JSCRIPT" CODEPAGE="936"%>
<!-- METADATA NAME="Microsoft ActiveX Data Objects 2.5 Library"
TYPE="TypeLib" UUID="{00000205-0000-0010-8000-00AA006D2EA4}" -->
<%
 //翻开数据库
 try
 {
  var strConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Server.MapPath("#db.mdb");
  var objConnection = Server.CreateObject("ADODB.Connection");
  objConnection.Open(strConnectionString);
 }
 catch(e)
 {
  Response.Write(e.description);
  Response.End();
 }
%>

<script language="jscript" runat="server">
//近程获得数据

function GetData()
{
 var xHttp = new ActiveXObject("microsoft.xmlhttp");
 xHttp.open("POST","http://www.chinamp.org/mppro2.php",false);
 xHttp.send();
 return(xHttp.responseText);
}

//使用正则表达式提取合适前提的链接

function GetLinks(str)
{
 var re = new RegExp("<a[^<>]+?\>((.|\n)*?)<\/a>", "gi");
 var a = str.match(re); //第一次搜刮 for(var i=0;i<a.length;i++)
 {
  var t1,t2;
  var temp;
  var r = /qy.php\?id=(\d+)/ig;

  if(!r.test(a[i]))continue;
  temp = a[i].match(/qy.php\?id=(\d+)/ig);
  t1 = RegExp.$1;
  temp = a[i].match(/<font[^<>]+?color=\"#000000\"\>(.*?)<\/font>/ig);
  t2 = RegExp.$1;
  if(t1 == t2)continue;
  SaveArticle(t1,t2,GetContent(t1));
 }
}

//经由过程提取的链接获得ID,并经由过程这个ID取抓取响应的文章

function GetContent(id)
{
 var xHttp = new ActiveXObject("microsoft.xmlhttp");
 xHttp.open("POST","http://www.chinamp.org/qy.php?id=" + id,false);
 xHttp.send();
 var str = xHttp.responseText;
 var re = new RegExp("<span[^<>]+?style=\"font-size:10\.8pt\">(.*?)<\/span>", "gi");
 var a = str.match(re);
 return(RegExp.$1);
}

//入库

function SaveArticle(oldID,Title,Content)
{
 var oRst = Server.CreateObject("ADODB.Recordset");
 var sQuery;
 sQuery = "SELECT oldID,Title,Content FROM Articles"
 oRst.Open(sQuery,objConnection,adOpenStatic,adLockPessimistic);
 oRst.AddNew();
 oRst("oldID") = oldID;
 oRst("Title") = Title;
 oRst("Content") = Content;
 oRst.Update();
 oRst.Close();
 Response.Write(Title + "抓取胜利" + "<br>");
}

</script>
<HTML>
<HEAD>
<TITLE> 抓取文章</TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312"></HEAD>
<BODY>
<%=GetLinks(GetData())%>
</BODY>

</HTML>

  下一步就是,把这个Access的数据库的内容导入到办事器的数据库里了,然而还有一些器材,就是本来的文章是分类的,所以导入的时分还到手工分类,由于在剖析链接的时分正则表达式原本写就很费事,但还算严谨,假如把分类也用正则表达式解析的话,会很费事,由于分类是包括在<td>外面的,而谁人页的<td>标签又良多,要想定位分类文字地点的<td>会很费事,即使写出来,法式也会得到天真性,变得难以保护,所以如今只做到了这一步。
</p>  缺点:安全性不是太差了,还行,只要你充分利用系统自带的工具;唯一缺点就是执行效率慢,如何进行网站优化以后,效果会比较好。
爱飞 该用户已被删除
沙发
发表于 2015-2-4 06:06:52 | 只看该作者
在平时的学习过程中要注意现学现用,注重运用,在掌握了一定的基础知识后,我们可以尝试做一些网页,也许在开始的时候我们可能会遇到很多问题,比如说如何很好的构建基本框架。
兰色精灵 该用户已被删除
板凳
发表于 2015-2-7 09:57:33 | 只看该作者
ASP主要是用好六个对象,其实最主要的是用好其中两个:response和request,就可以随心所欲地控制网页变换和响应用户动作了。
小妖女 该用户已被删除
地板
发表于 2015-2-21 14:10:55 | 只看该作者
ASP主要是用好六个对象,其实最主要的是用好其中两个:response和request,就可以随心所欲地控制网页变换和响应用户动作了。
海妖 该用户已被删除
5#
发表于 2015-3-2 00:13:15 | 只看该作者
ASP(ActiveServerPages)是Microsfot公司1996年11月推出的WEB应用程序开发技术,它既不是一种程序语言,也不是一种开发工具,而是一种技术框架,不须使用微软的产品就能编写它的代码,能产生和执行动态、交互式、高效率的站占服务器的应用程序。
深爱那片海 该用户已被删除
6#
发表于 2015-3-6 04:03:49 | 只看该作者
ASP的语言不仅仅只是命令格式差不多,而是包含在<%%>之内的命令完全就是VB语法。虽然ASP也是做为单独的一个技术来提出的,但他就是完全继承了VB所有的功能。
再现理想 该用户已被删除
7#
发表于 2015-3-11 08:17:46 | 只看该作者
最近在学asp,不要问我为什么不直接学.net,因为公司网站是asp做的所以有这个需要,卖了本书asp入门到精通,对里面的六大内置对象老是记不住,还有很多属性和方法看的头晕。
变相怪杰 该用户已被删除
8#
发表于 2015-3-13 12:07:44 | 只看该作者
Request:从字面上讲就是“请求”,因此这个是处理客户端提交的东东的,例如Resuest.Form,Request.QueryString,或者干脆Request("变量名")
分手快乐 该用户已被删除
9#
发表于 2015-3-17 11:10:54 | 只看该作者
我们必须明确一个大方向,不要只是停留在因为学而去学,我们应有方向应有目标.
飘灵儿 该用户已被删除
10#
发表于 2015-3-19 02:30:23 | 只看该作者
ASP.Net和ASP的最大区别在于编程思维的转换,而不仅仅在于功能的增强。ASP使用VBS/JS这样的脚本语言混合html来编程,而那些脚本语言属于弱类型、面向结构的编程语言,而非面向对象,这就明显产生以下几个问题:
金色的骷髅 该用户已被删除
11#
 楼主| 发表于 2015-3-27 00:10:51 | 只看该作者
如何学好ASP,以前也有人问过,把回答给你转过来看看能否对你有帮助:
飘飘悠悠 该用户已被删除
12#
发表于 2015-4-11 18:51:11 | 只看该作者
虽然ASP也有很多网络教程。但是这些都不系统。都是半路出家,只是从一个例子告诉你怎么用。不会深入讨论,更不会将没有出现在例子里的方法都一一列举出来。
因胸联盟 该用户已被删除
13#
发表于 2015-4-16 03:10:08 | 只看该作者
如何学好ASP,以前也有人问过,把回答给你转过来看看能否对你有帮助:
活着的死人 该用户已被删除
14#
发表于 2015-4-26 17:10:36 | 只看该作者
交流是必要的,不管是生活还是学习我们都要试着去交流,通过交流我们可以学到很多我们自己本身所没有的知识,可以分享别人的经验甚至经历。
15#
发表于 2015-4-27 14:55:26 | 只看该作者
跟学别的语言一样,先掌握变量,流程控制语句(就是ifwhileselect)等,函数/过程,数组
简单生活 该用户已被删除
16#
发表于 2015-5-1 21:09:17 | 只看该作者
不能只是将它停留在纸上谈兵的程度上。
小女巫 该用户已被删除
17#
发表于 2015-5-4 11:40:09 | 只看该作者
学习是为了用的,是为了让你的程序产生价值,把握住这个原则会比较轻松点。除此之外,课外时间一定要多参加一些社会实践活动,来锻炼自己的能力。
莫相离 该用户已被删除
18#
发表于 2015-6-12 19:01:24 | 只看该作者
Response:从字面上讲是“响应”,因此这个是服务端向客户端发送东西的,例如Response.Write
只想知道 该用户已被删除
19#
发表于 2015-7-6 01:26:03 | 只看该作者
完全不知道到底自己学的是什么。最后,除了教程里面说的几个例子,还是什么都不会。
乐观 该用户已被删除
20#
发表于 2015-7-20 14:58:23 | 只看该作者
封装性使得代码逻辑清晰,易于管理,并且应用到ASP.Net上就可以使业务逻辑和Html页面分离,这样无论页面原型如何改变,业务逻辑代码都不必做任何改动;继承性和多态性使得代码的可重用性大大提高。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|仓酷云 鄂ICP备14007578号-2

GMT+8, 2024-12-22 20:01

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表