仓酷云

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 1585|回复: 19
打印 上一主题 下一主题

[学习教程] PHP网页设计PHP 利用 CURL 同步抓取多个网页

[复制链接]
金色的骷髅 该用户已被删除
跳转到指定楼层
楼主
发表于 2015-2-3 23:44:40 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
怎么培养啊 别光说不练啊,好 ,比如新人入门自己步是配置环境,虽然现在都有很多的集成环境,但是真实的体验下配置环境还是会有很多帮助,不论是你以后工作还是在真实的linux下开发。普通CURL 抓网页的办法, 是一页一页抓, 假定要抓 4页, 所费工夫互异是 5,10,7,5 秒, 那全体总合所花的工夫就是 5 + 10 + 7 + 5 = 27 秒。若能同工夫去抓取多个网页, 所消费的工夫 5,10,7,5 秒, 全体总合所花的工夫是 10 秒。(消费最多工夫的秒数)   于JavaScript 可以使用 AJAX 的 async(YAHOO.util.Connect.asyncRequest)来告竣, 于 PHP 可以用 CURL 来告竣此 Multi-Threading 的后果。
法式(async.php)
  以下为援用的内容:
<?php
function async_get_url($url_array, $wait_usec = 0)
{
     if (!is_array($url_array))
         return false;

     $wait_usec = intval($wait_usec);

     $data    = array();
     $handle  = array();
     $running = 0;

     $mh = curl_multi_init(); // multi curl handler

     $i = 0;
     foreach($url_array as $url) {
         $ch = curl_init();

         curl_setopt($ch, CURLOPT_URL, $url);
         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print
         curl_setopt($ch, CURLOPT_TIMEOUT, 30);
         curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
         curl_setopt($ch, CURLOPT_MAXREDIRS, 7);

         curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里

         $handle[$i++] = $ch;
     }

     /* 履行 */
     do {
         curl_multi_exec($mh, $running);

         if ($wait_usec > 0) /* 每一个 connect 要距离多久 */
             usleep($wait_usec); // 250000 = 0.25 sec
     } while ($running > 0);

     /* 读取材料 */
     foreach($handle as $i => $ch) {
         $content  = curl_multi_getcontent($ch);
         $data[$i] = (curl_errno($ch) == 0) ? $content : false;
     }

     /* 移除 handle*/
     foreach($handle as $ch) {
         curl_multi_remove_handle($mh, $ch);
     }

     curl_multi_close($mh);

     return $data;
}
?>

利用
  以下为援用的内容:
<?php
$urls = array('http://example1.com', 'http://example2.com');
print_r(async_get_url($urls)); // [0] => example1, [1] => example2
?>

测试
sleep.php # 看工夫延伸获得的后果
  以下为援用的内容:
<?php
sleep(intval($_GET['time']));
echo intval($_GET['time']);
?>

  以下为援用的内容:
<?php
$url_array = array(
         'http://example.com/sleep.php?time=5',
         'http://example.com/sleep.php?time=10',
         'http://example.com/sleep.php?time=7',
         'http://example.com/sleep.php?time=5',
         );
print_r(async_get_url($url_array));
// 总消费工夫会是 10 秒, 并印出 [0] => 5, [1] => 10, [2] => 7, [3] => 5
?>

毕业设计作品自己个人还是觉得比较满意的,尽管有些功能考虑的不全面,也没有很好的实现。
小魔女 该用户已被删除
沙发
发表于 2015-2-4 06:29:33 | 只看该作者
不禁又想起那些说php是草根语言的人,为什么认得差距这么大呢。
灵魂腐蚀 该用户已被删除
板凳
发表于 2015-2-25 15:16:12 | 只看该作者
再就是混迹于论坛啦,咱们的phpchina的论坛就很强大,提出的问题一般都是有达人去解答的,以前的帖子也要多看看也能学到不少前辈们的经验。别的不错的论坛例如php100,javaeye也是很不错的。
谁可相欹 该用户已被删除
地板
发表于 2015-3-7 22:38:08 | 只看该作者
我还是推荐用firefox ,配上firebug 插件调试js能省下不受时间。谷歌的浏览器最好也不少用,因为谷歌的大侠们实在是太天才啦,把一些原来的js代码加了一些特效。
因胸联盟 该用户已被删除
5#
发表于 2015-3-9 21:18:04 | 只看该作者
遇到出错的时候,我经常把错误信息直接复制到 google的搜索栏,一般情况都是能搜到结果的,不过有时候会搜出来一大片英文的出来,这时候就得过滤一下,吧中文的弄出来,挨着式方法。
不帅 该用户已被删除
6#
发表于 2015-3-16 21:39:06 | 只看该作者
最后祝愿,php会给你带来快乐的同时 你也会给他带来快乐。
小女巫 该用户已被删除
7#
发表于 2015-3-17 10:10:23 | 只看该作者
本人接触php时间不长,算是phper中的小菜鸟一只吧。由于刚开始学的时候没有名师指,碰过不少疙瘩,呗很多小问题卡过很久,白白浪费不少宝贵的时间,在次分享一些子的学习的心得。
爱飞 该用户已被删除
8#
发表于 2015-3-24 06:25:01 | 只看该作者
,熟悉html,能用div+css,还有javascript,优先考虑linux。我在开始学习的时候,就想把这些知识一起学习,我天真的认为同时学习能够互相呼应,因为知识是相通的。
活着的死人 该用户已被删除
9#
发表于 2015-3-24 16:20:26 | 只看该作者
说php的话,首先得提一下数组,开始的时候我是最烦数组的,总是被弄的晕头转向,不过后来呢,我觉得数组里php里最强大的存储方法,所以建议新手们要学好数组。
只想知道 该用户已被删除
10#
发表于 2015-4-8 09:52:48 | 只看该作者
这些都是最基本最常用功能,我们这些菜鸟在系统学习后,可以先对这些功能深入研究。
再见西城 该用户已被删除
11#
发表于 2015-4-16 19:00:37 | 只看该作者
当然这种网站的会员费就几十块钱。
柔情似水 该用户已被删除
12#
发表于 2015-4-21 21:35:44 | 只看该作者
做为1门年轻的语言,php一直很努力。
精灵巫婆 该用户已被删除
13#
发表于 2015-4-26 10:21:52 | 只看该作者
对于懒惰的朋友,我推荐php的集成环境xampp或者是wamp。这两个软件安装方便,使用简单。但是我还是强烈建议自己动手搭建开发环境。
小妖女 该用户已被删除
14#
发表于 2015-4-30 04:55:06 | 只看该作者
建数据库表的时候,int型要输入长度的,其实是个摆设的输入几位都没影响的,只要大于4就行,囧。
透明 该用户已被删除
15#
发表于 2015-5-4 06:48:13 | 只看该作者
刚开始安装php的时候,我图了个省事,把php的扩展全都打开啦(就是把php.ini 那一片 extension 前面的冒号全去掉啦),这样自然有好处,以后不用再需要什么功能再来打开。
深爱那片海 该用户已被删除
16#
发表于 2015-5-6 23:22:45 | 只看该作者
刚开始安装php的时候,我图了个省事,把php的扩展全都打开啦(就是把php.ini 那一片 extension 前面的冒号全去掉啦),这样自然有好处,以后不用再需要什么功能再来打开。
再现理想 该用户已被删除
17#
发表于 2015-5-8 02:02:15 | 只看该作者
遇到出错的时候,我经常把错误信息直接复制到 google的搜索栏,一般情况都是能搜到结果的,不过有时候会搜出来一大片英文的出来,这时候就得过滤一下,吧中文的弄出来,挨着式方法。
莫相离 该用户已被删除
18#
发表于 2015-6-20 21:02:12 | 只看该作者
首先声明:我是一个菜鸟,是一个初学者。学习了一段php后总是感觉自己没有提高,无奈。经过反思我认为我学习过程中存在很多问题,我改变了学习方法后自我感觉有了明显的进步。
蒙在股里 该用户已被删除
19#
发表于 2015-6-24 09:35:18 | 只看该作者
我还是强烈建议自己搭建php环境。因为在搭建的过程中你会遇到一些问题,通过搜索或是看php手册解决问题后,你会更加深刻的理解它们的工作原理,了解到php配置文件中的一些选项设置。
冷月葬花魂 该用户已被删除
20#
发表于 2015-7-7 22:44:04 | 只看该作者
找到的的资料很多都是在论坛里的,需要注册,所以我一般没到一个论坛都注册一个id,所有的id都注册成一样的,这样下次再进来的时候就不用重复注册啦。当然有些论坛的某些资料是需要的付费的。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|仓酷云 鄂ICP备14007578号-2

GMT+8, 2024-12-29 23:55

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表