发布一篇HTTP多线程断点续传下载的实验

只看该作者 · 发表于 2015-1-18 11:25:50

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有帐号？立即注册

x

首先java功能强大的背后是其复杂性，就拿web来说，当今流行的框架有很多，什么struts，spring，jQuery等等，而这无疑增加了java的复杂性。
间接看代码吧，空话一点未几说。
功效先容：
1多线程HTTP下载
2撑持断点续传
3一时文件下载，乐成后更名
4供应防盗链的破解
Java代码

1.importjava.io.BufferedInputStream;
2.importjava.io.BufferedWriter;
3.importjava.io.File;
4.importjava.io.OutputStreamWriter;
5.importjava.io.RandomAccessFile;
6.importjava.net.Socket;
7.importjava.net.URL;
8.importjava.net.URLConnection;
9.importjava.util.HashMap;
10.importjava.util.Map;
11.
12./**
13.*HTTP的多线程下载工具。
14.*
15.*@author赵学庆www.java2000.net
16.*/
17.publicclassHTTPDownloaderextendsThread{
18.//要下载的页面
19.privateStringpage;
20.
21.//保留的路径
22.privateStringsavePath;
23.
24.//线程数
25.privateintthreadNumber=2;
26.
27.//来历地点
28.privateStringreferer;
29.
30.privateStringcookie;
31.
32.intthreadPointer=0;
33.
34.privateMap<Integer,HTTPDownloaderThread>threadPool=newHashMap<Integer,HTTPDownloaderThread>();//线程迟
35.
36.//最小的块尺寸。假如文件尺寸除以线程数小于这个，则会削减线程数。37.privateintMIN_BLOCK=10*1024;
38.
39.publicstaticvoidmain(String[]args)throwsException{
40.HTTPDownloaderd=newHTTPDownloader("http://www.xxxxx.com/a.rar",null,"d://a.rar",10,null);
41.d.down();
42.}
43.
44.publicvoidrun(){
45.try{
46.down();
47.}catch(Exceptione){
48.e.printStackTrace();
49.}
50.}
51.
52./**
53.*下载操纵
54.*
55.*@throwsException
56.*/
57.publicvoiddown()throwsException{
58.URLurl=newURL(page);//创立URL
59.URLConnectioncon=url.openConnection();//创建毗连
60.con.setRequestProperty("Referer",referer==null?page:referer);
61.con.setRequestProperty("UserAgent","Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;Flashget)");
62.intcontentLen=con.getContentLength();//取得资本长度
63.if((contentLen/MIN_BLOCK+1)<threadNumber){
64.threadNumber=contentLen/MIN_BLOCK+1;//调剂下载线程数65.}
66.if(threadNumber>10){
67.threadNumber=10;
68.}
69.intbegin=0;
70.intstep=contentLen/threadNumber+1;
71.intend=0;
72.HTTPDownloaderThreadthread;
73.for(threadPointer=0;threadPointer<threadNumber;threadPointer++){
74.end+=step;
75.if(end>contentLen){
76.end=contentLen;
77.}
78.thread=newHTTPDownloaderThread(this,threadPointer,begin,end);
79.threadPool.put(threadPointer,thread);
80.thread.start();
81.begin=end;
82.}
83.}
84.
85./**
86.*一个线程完活了。
87.*
88.*@paramid完活的线程id
89.*/
90.publicsynchronizedvoidfinished(intid){
91.threadNumber--;
92.threadPool.remove(id);
93.if(threadNumber<=0){
94.System.out.println("FINISHED:"+savePath);
95.Filef1=newFile(savePath+".tmp");
96.Filef2=newFile(savePath);
97.//假如方针文件已存在，则实验删除它
98.//最多实验3次，距离1秒钟。
99.inttimes=3;
100.while(f2.exists()&&times>0){
101.if(f2.delete()){
102.break;
103.}
104.try{
105.Thread.sleep(1000);
106.}catch(InterruptedExceptione){
107.e.printStackTrace();
108.}
109.times--;
110.}
111.if(!f2.exists()){
112.if(!f1.renameTo(f2)){
113.System.out.println("更名失利!");
114.}
115.}else{
116.System.out.println("方针文件存在，且没法删除,没法更名");
117.}
118.}else{
119.intsize=0;
120.HTTPDownloaderThreado=null;
121.//实验查找一个能够分管的线程
122.for(HTTPDownloaderThreadthread:threadPool.values()){
123.if(thread.endPos-thread.curPos>size){
124.size=thread.endPos-thread.curPos;
125.o=thread;
126.}
127.}
128.if(size>MIN_BLOCK*2){
129.if(o.isAlive()){
130.intendPos=o.endPos;
131.intbeginPos=o.endPos-((o.endPos-o.curPos)/2);
132.o.endPos=beginPos;
133.threadNumber++;
134.threadPointer++;
135.HTTPDownloaderThreadthread=newHTTPDownloaderThread(this,threadPointer,beginPos,endPos);
136.threadPool.put(threadPointer,thread);
137.System.out.println("AHelpThreadfor"+o.id+"isstartedwith:"+threadPointer);
138.thread.start();
139.}
140.}
141.}
142.}
143.
144.publicHTTPDownloader(){
145.}
146.
147./**
148.*下载
149.*
150.*@parampage被下载的页面
151.*@paramsavePath保留的路径
152.*/
153.publicHTTPDownloader(Stringpage,StringsavePath){
154.this(page,savePath,10);
155.}
156.
157./**
158.*下载
159.*
160.*@parampage被下载的页面
161.*@paramsavePath保留的路径
162.*@paramthreadNumber线程数
163.*/
164.publicHTTPDownloader(Stringpage,StringsavePath,intthreadNumber){
165.this(page,page,savePath,10,null);
166.}
167.
168./**
169.*下载
170.*
171.*@parampage被下载的页面
172.*@paramsavePath保留的路径
173.*@paramthreadNumber线程数
174.*@paramreferer来历
175.*/
176.publicHTTPDownloader(Stringpage,Stringreferer,StringsavePath,intthreadNumber,Stringcookie){
177.this.page=page;
178.this.savePath=savePath;
179.this.threadNumber=threadNumber;
180.this.referer=referer;
181.}
182.
183.publicStringgetPage(){
184.returnpage;
185.}
186.
187.publicvoidsetPage(Stringpage){
188.this.page=page;
189.}
190.
191.publicStringgetSavePath(){
192.returnsavePath;
193.}
194.
195.publicvoidsetSavePath(StringsavePath){
196.this.savePath=savePath;
197.}
198.
199.publicintgetThreadNumber(){
200.returnthreadNumber;
201.}
202.
203.publicvoidsetThreadNumber(intthreadNumber){
204.this.threadNumber=threadNumber;
205.}
206.
207.publicStringgetReferer(){
208.returnreferer;
209.}
210.
211.publicvoidsetReferer(Stringreferer){
212.this.referer=referer;
213.}
214.
215.publicStringgetCookie(){
216.returncookie;
217.}
218.
219.publicvoidsetCookie(Stringcookie){
220.this.cookie=cookie;
221.}
222.}
223.
224./**
225.*下载线程
226.*
227.*@author赵学庆www.java2000.net
228.*/
229.classHTTPDownloaderThreadextendsThread{
230.HTTPDownloadermanager;
231.
232.intstartPos;
233.
234.intendPos;
235.
236.intid;
237.
238.intcurPos;
239.
240.intBUFFER_SIZE=40960;
241.
242.intreadByte=0;
243.
244.HTTPDownloaderThread(HTTPDownloadermanager,intid,intstartPos,intendPos){
245.this.id=id;
246.this.manager=manager;
247.this.startPos=startPos;
248.this.endPos=endPos;
249.}
250.
251.publicvoidrun(){
252.System.out.println("线程"+id+"启动,"+startPos+"-"+endPos);
253.//创立一个buff
254.BufferedInputStreambis=null;
255.RandomAccessFilefos=null;
256.//缓冲区巨细
257.byte[]buf=newbyte[BUFFER_SIZE];
258.booleantimeout=false;
259.Socketsocket=null;
260.try{
261.curPos=startPos;
262.Filefile=newFile(manager.getSavePath()+".tmp");
263.//创立RandomAccessFile
264.fos=newRandomAccessFile(file,"rw");
265.//从startPos入手下手
266.fos.seek(startPos);
267.intindex=manager.getPage().indexOf("/",8);
268.Stringhost=manager.getPage().substring(7,index);
269.//System.out.println(host);
270.socket=newSocket(host,80);
271.socket.setSoTimeout(30000);
272.//写进数据
273.BufferedWriterwr=newBufferedWriter(newOutputStreamWriter(socket.getOutputStream(),"UTF-8"));
274.StringBuilderb=newStringBuilder();
275.b.append("GET"+manager.getPage().substring(index)+"HTTP/1.1
");
276.b.append("Host:"+host+"
");
277.b.append("Referer:"+(manager.getReferer()==null?manager.getPage():manager.getReferer())+"
");
278.b.append("UserAgent:Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;flashget;
");
279.b.append("Range:bytes="+startPos+"-"+endPos+"
");
280.b.append("
");
281.//System.out.println(b.toString());
282.wr.write(b.toString());
283.wr.flush();
284.//上面一段向依据文件写进数据,curPos为以后写进的未知,这里会判别是不是小于endPos,
285.//假如凌驾endPos就代表该线程已实行终了
286.bis=newBufferedInputStream(socket.getInputStream());
287.//读取直到换行
288.intch;
289.booleanfoundBR=false;
290.while(true){
291.ch=bis.read();
292.if(ch==0xD){
293.ch=bis.read();
294.if(ch==0xA){
295.if(foundBR){
296.break;
297.}
298.foundBR=true;
299.}else{
300.foundBR=false;
301.}
302.}else{
303.foundBR=false;
304.}
305.}
306.intlen=-1;
307.while(curPos<endPos){
308.//System.out.println(id+"="+(endPos-curPos));
309.len=bis.read(buf,0,BUFFER_SIZE);
310.if(len==-1){
311.break;
312.}
313.fos.write(buf,0,len);
314.//System.out.println(id+"=WriteOK!");
315.curPos=curPos+len;
316.if(curPos>endPos){
317.//猎取准确读取的字节数
318.readByte+=len-(curPos-endPos)+1;
319.}else{
320.readByte+=len;
321.}
322.}
323.System.out.println("线程"+id+"已下载终了:"+readByte);
324.}catch(Exceptionex){
325.timeout=true;
326.}finally{
327.if(bis!=null){
328.try{
329.bis.close();
330.}catch(Exceptione){
331.System.out.println("封闭文件失利(1)!");
332.}
333.}
334.if(fos!=null){
335.try{
336.fos.close();
337.}catch(Exceptione){
338.System.out.println("封闭文件失利(2)!");
339.}
340.}
341.if(socket!=null){
342.try{
343.socket.close();
344.}catch(Exceptione){
345.System.out.println("封闭链接失利!");
346.}
347.}
348.}
349.if(timeout){
350.System.out.println(id+"timeout,restart...");
351.newHTTPDownloaderThread(manager,id,curPos,endPos).start();
352.}else{
353.manager.finished(id);
354.}
355.}
356.}

复制代码

主要缺点就是:速度比较慢,没有C和C++快

只看该作者 · 发表于 2015-1-21 06:18:19

多重继承（以接口取代）等特性，增加了垃圾回收器功能用于回收不再被引用的对象所占据的内存空间，使得程序员不用再为内存管理而担忧。在 Java 1.5 版本中，Java 又引入了泛型编程（Generic Programming）、类型安全的枚举、不定长参数和自动装/拆箱等语言特性。

只看该作者 · 发表于 2015-1-30 09:33:20

至于JDBC，就不用我多说了，你如果用java编过存取数据库的程序，就应该很熟悉。还有，如果你要用Java编发送电子邮件的程序，你就得看看Javamail 了。

只看该作者 · 发表于 2015-2-1 19:35:19

你一定会高兴地说，哈哈，原来成为Java高手就这么简单啊!记得Tomjava也曾碰到过一个项目经理，号称Java很简单，只要三个月就可以学会。

只看该作者 · 发表于 2015-2-5 14:12:09

你快去找一份Java的编程工作来做吧（如果是在校学生可以去做兼职啊），在实践中提高自己，那才是最快的。不过你得祈祷在公司里碰到一个高手，而且他还愿意不厌其烦地教你，这样好象有点难哦！还有一个办法就是读开放源码的程序了。我们知道开放源码大都出自高手，他们设计合理，考虑周到，再加上有广大的程序员参与，代码的价值自然是字字珠叽，铿锵有力（对不起，偶最近《金装四大才子》看多了）。

只看该作者 · 发表于 2015-2-12 02:45:14

任职于太阳微系统的詹姆斯·高斯林等人于1990年代初开发Java语言的雏形，最初被命名为Oak，目标设置在家用电器等小型系统的程序语言

只看该作者 · 发表于 2015-3-2 21:13:02

是一种为 Internet发展的计算机语言

只看该作者 · 发表于 2015-3-3 19:44:22

是一种突破用户端机器环境和CPU

只看该作者 · 发表于 2015-3-11 12:38:28

还好，SUN提供了Javabean可以把你的JSP中的 Java代码封装起来，便于调用也便于重用。

只看该作者 · 发表于 2015-3-18 11:23:58

另外编写和运行Java程序需要JDK(包括JRE)，在sun的官方网站上有下载，thinking in java第三版用的JDK版本是1.4,现在流行的版本1.5（sun称作J2SE 5.0，汗），不过听说Bruce的TIJ第四版国外已经出来了，是专门为J2SE 5.0而写的。

仓酷云 · 发表于 2015-3-25 18:38:39

在全球云计算和移动互联网的产业环境下，Java更具备了显著优势和广阔前景。

		自动登录	找回密码
密码			立即注册

[学习教程] 发布一篇HTTP多线程断点续传下载的实验

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

相关帖子