|
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
小知识:CentOS出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的RedHatEnterpriseLinux使用。
#coding=utf8
#LINUXQQforcrawlerdatav0.1
importos
importre
importurllib
videourl=‘http://www.centoscn.com/’
rootdir=‘D:video’
defprogress(blocknum,blocksize,totalsize):
per=100.0*blocknum*blocksize/totalsize
ifper>100:
per=100
print“%.2f%%”%per
defcontact(link,directory):
newlink=link.replace(‘&’,&’)
newhtml=urllib.urlopen(str(videourl+newlink))
newdata=re.compile(‘req=re.search(newdata,newhtml.read())
ifreq:
os.mkdir(rootdir+directory)
download=req.group(1).replace(html,swf)
ifurllib.urlretrieve(download,rootdir+directory+study.swf,progress):
printdirectory+downloadok
else:
printdirectory+downloadfailure
defcrawler(url):
html=urllib.urlopen(http://www.51zxw.net/list.aspx?cid=359)
data=re.compile(r]*?>(.*?)‘,re.S|re.U)
req=re.findall(data,html.read())
foriinreq:
contact(i[0],i[1])
if__name__==’__main__’:
i=8
p=1
whilep<=i:
url=‘http://www.51zxw.net/list.aspx?page=%d&cid=359′%(p)
p+=1
crawler(url)
小知识:CentOS出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的RedHatEnterpriseLinux使用。 |
|