PHP网页编程之百度晓得的php爬虫

说说这一个月左右的学习情况和心得吧！我个人认为，既然决定了去做一件事，那就要以认真的态度去对待！既然决定来学习了，那不管当初是抱着怎样的心态来到这个培训班的，都要让自己认真的投入到学习中。    <?php
/*
  百度晓得爬虫！
经由咱们剖析，百度晓得是由静态网页构成。网址格局次要为http://zhidao.百度.com/question/(编号).html，个中编号即是该成绩的编号(PID)，依照工夫逐一编号的，因为某些成绩的删除或某种缘由，能够编号不一连。当咱们发明该成绩删除时，可以跳过该成绩持续。
*/
  
class spider
{
  private $content ;
  private $contentlen ;
  private $BestAnswer ;
  private $CurPosition ;
  function GetStart( $iStart )
  {
   return strpos( $this->content , '>' , $iStart )+1 ;
  }
  function GetContent ( $url )
  {
   $this->content = file_get_contents($url);
   $this->contentlen = strlen( $this->content ) ;
   $start = strpos( $this->content , '<title>') ;
   $start = $this->GetStart( $start ) ;
   $end = strpos( $this->content , '</title>' , $start ) ;
   $title = substr( $this->content , $start , $this->$end-$start ) ;
   if ( strpos( $title , '_百度晓得' , 1 ) < 1 )
   {
    return false;
   }
   return ture ;
  }
  
  function GetTitle()
  {
   $start = strpos( $this->content , '<title>') ;
   if ( $start > 0 )
   {
    $start = $this->GetStart( $start ) ;
    $end = strpos( $this->content , '</title>' , $start ) ;
    $this->CurPosition = $end ;
    return substr( $this->content , $start , $end-$start ) ;
   }
   return NULL ;
  }
  function GetQTitle()
  {
   $start = strpos( $this->content , 'span class="question-title"' , $this->CurPosition ) ;
   if ( $start > 0 )
   {
    $start = $this->GetStart( $start ) ;
    $end = strpos( $this->content , '</span>' , $start ) ;
    $this->CurPosition = $end ;
    return substr( $this->content , $start , $end-$start ) ;
   }
   return NULL ;
  }
  function GetClassFly()
  {
   ;
  }
  function GetQContent()
  {
   $start = strpos( $this->content , 'pre id="question-content"' , $this->CurPosition ) ;
   if ( $start > 0 )
   {
    $start = $this->GetStart( $start ) ;
    $end = strpos( $this->content , '</pre>' , $start ) ;
    $this->CurPosition = $end ;
    return substr( $this->content , $start , $end-$start ) ;
   }
   return NULL ;
  }
  function GetQsuply()
  {
   $start = strpos( $this->content , 'id="question-suply"' , $this->CurPosition ) ;
   if ( $start > 0 )
   {
    $start = $this->GetStart( $start ) ;
    $end = strpos( $this->content , '</pre>' , $start ) ;
    $this->CurPosition = $end ;
    return substr( $this->content , $start , $end-$start ) ;
   }
   return NULL ;
  }
  function GetAnswer()
  {
   $start = strpos( $this->content , 'class="reply-text mb10"' , $this->CurPosition ) ;
   if ( $start > 0 )
   {
    $start = $this->GetStart( $start ) ;
    $end = strpos( $this->content , '</pre>' , $start ) ;
    $this->CurPosition = $end ;
    return substr( $this->content , $start , $end-$start ) ;
   }
   return NULL ;
  }
}
ini_set('max_execution_time', '0');
$TestSpider = new spider() ;
$Startqid = 1000001 ;
$sndqid = 1000051 ;
$standurl = 'http://zhidao.百度.com/question/' ;
$html = '.html' ;
$url ;
$NoUse = 0 ;
function microtime_float()
{
     list($usec, $sec) = explode(" ", microtime());
     return ((float)$usec + (float)$sec);
}
$time_start = microtime_float();
$answer ;
for ($i = $Startqid ; $i < $sndqid ; $i++ )
{
  $url = $standurl.$i.$html ;
  if ( $TestSpider->GetContent ( $url ) )
  {
   echo '<br>正在爬取编号为'.$i.'的网页<br>' ;
   $TestSpider->GetTitle() ; //失掉网页题目,不必显示了
   echo '<font color="green">成绩：</font><font color="red"><a target="_blank" href="'.$url.'"> '.$TestSpider->GetQTitle().'</a></font><br>' ; //失掉成绩标题
   echo '<font color="green">成绩详细内容：</font>'.$TestSpider->GetQContent().'</font><br>' ; //失掉成绩内容，有能够不存在
   echo '<font color="green">成绩增补申明：</font>'.$TestSpider->GetQsuply().'</font><br>' ; //成绩增补申明，有能够不存在
   while ( ($answer = $TestSpider->GetAnswer()) != NULL )
   {
    echo '<font color="green">成绩谜底：</font>'.$answer.'</font><br>' ; //失掉谜底。有能够没有谜底！
   }
   ob_flush() ;
   flush() ;
  }
  else
  {
   echo '<p>毛病了<a target="_blank" href="'.$url.'" style= "color:#ff0000">'.$url.'</a></p>' ;
   $NoUse++ ;
  }
}
$time_end = microtime_float();
$time = $time_end - $time_start;
$i = $i-$Startqid ;
echo '<p>爬取'.$i.'个网页用时'.$time.'秒</p>个中跳过'.$NoUse.'个有效网页！' ;
  ?>
在我开始学习PHP以前，我从未想过要做软件工程，即便是在去听过华育国际的关于软件工程的美好前景后，因为我一直都没有想过要与代码打交道，而是想学好所学专业，做个网络工程师或者是网络安全人员。

环境搭建好,当你看见你的浏览器输出“it works\\\\\\\"时你一定是喜悦的。在你解决问题的时候，我强烈建议多读php手册。

学好程序语言，多些才是王道，写两个小时代码的作用绝对超过看一天书，这个我是深有体会（顺便还能练打字速度）。

这些都是最基本最常用功能，我们这些菜鸟在系统学习后，可以先对这些功能深入研究。

作为一个合格的coder 编码的规范是必须，命名方面我推崇“驼峰法”，另外就是自己写的代码最好要带注释，不然时间长了，就算是自己的代码估计看起来都费事，更不用说别人拉。

当然这种网站的会员费就几十块钱。

多看优秀程序员编写的代码，仔细理解他们解决问题的方法，对自身有很大的帮助。

不禁又想起那些说php是草根语言的人，为什么认得差距这么大呢。

最后祝愿，php会给你带来快乐的同时 你也会给他带来快乐。

多看优秀程序员编写的代码，仔细理解他们解决问题的方法，对自身有很大的帮助。

我还是推荐用firefox ，配上firebug 插件调试js能省下不受时间。谷歌的浏览器最好也不少用，因为谷歌的大侠们实在是太天才啦，把一些原来的js代码加了一些特效。

因为blog这样的可以让你接触更多要学的知识，可以接触用到类，模板，js ，ajax

找到的的资料很多都是在论坛里的，需要注册，所以我一般没到一个论坛都注册一个id，所有的id都注册成一样的，这样下次再进来的时候就不用重复注册啦。当然有些论坛的某些资料是需要的付费的。

最后介绍一个代码出错，但是老找不到错误方法，就是 go to wc （囧），出去换换气没准回来就找到错误啦。

有时候汉字的空格也能导致页面出错，所以在写代码的时候，要输入空格最好用引文模式。

说php的话，首先得提一下数组，开始的时候我是最烦数组的，总是被弄的晕头转向，不过后来呢，我觉得数组里php里最强大的存储方法，所以建议新手们要学好数组。

,熟悉html,能用div+css，还有javascript，优先考虑linux。我在开始学习的时候，就想把这些知识一起学习，我天真的认为同时学习能够互相呼应，因为知识是相通的。

对于初学者来说不推荐去拿钱买的。当然如果一个网站你经常去用，而且里面的资料也比较有用，最好还是买个会员比较好，毕竟那些也是别人的工作成果。

做为1门年轻的语言，php一直很努力。