|
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
一些真正的强人总会搞出新玩意来丢给你,你不学就落后了,也印证了前人的经验,果然是学无止境啊!
利用PHP的cURL库可以复杂和无效地去抓网页。你只需求运转一个剧本,然后剖析一下你所抓取的网页,然后就能够以法式的体例失掉你想要的数据了。不管是你想从从一个链接上取局部数据,或是取一个XML文件并把其导入数据库,那怕就是复杂的获得网页内容,cURL 是一个功效壮大的PHP库。本文次要讲述假如利用这个PHP库。
启用 cURL 设置
起首,咱们得先要肯定咱们的PHP是不是开启了这个库,你可以经由过程利用php_info()函数来失掉这一信息。
假如你可以在网页上看到上面的输入,那末暗示cURL库已被开启。
假如你看到的话,那末你需求设置你的PHP并开启这个库。假如你是在Windows平台下,那末十分复杂,你需求改一改你的php.ini文件的设置,找到php_curl.dll,并作废后面的分号正文就好了。以下所示:
- //作废
下在的正文
extension=php_curl.dll
复制代码 假如你是在Linux上面,那末,你需求从头编译你的PHP了,编纂时,你需求翻开编译参数——在configure号令上加上“–with-curl” 参数。
一个小示例
假如一切停当,上面是一个小例程:
?php
// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需求抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://cocre.com');
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数,请求了局保留到字符串中仍是输入到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运转cURL,恳求网页
$data = curl_exec($curl);
// 封闭URL恳求
curl_close($curl);
// 显示取得的数据
var_dump($data);
若何POST数据
下面是抓取网页的代码,上面则是向某个网页POST数据。假定咱们有一个处置表单的网址http://www.example.com/sendSMS.php,其可以承受两个表单域,一个是德律风号码,一个是短信内容。
- ?php $phoneNumber = '13912345678'; $message = 'This message was generated by curl and php'; $curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php'); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); $data = curl_exec(); curl_close($ch); ?
复制代码 从下面的法式咱们可以看到,利用CURLOPT_POST设置HTTP协定的POST办法,而不是GET办法,然后以CURLOPT_POSTFIELDS设置POST的数据。
关于代办署理办事器
上面是一个若何利用代办署理办事器的示例。请注重个中高亮的代码,代码很复杂,我就不必多说了。
- ?php $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080'); curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password'); $data = curl_exec(); curl_close($ch); ?
复制代码 关于SSL和Cookie
关于SSL也就是HTTPS协定,你只需求把CURLOPT_URL毗连中的http://酿成https://就能够了。固然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。
关于Cookie,你需求懂得上面三个参数:
CURLOPT_COOKIE,在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR,当会话停止的时分保留一个Cookie
CURLOPT_COOKIEFILE,Cookie的文件。
HTTP办事器认证
最初,咱们来看一看HTTP办事器认证的情形。
?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')
$data = curl_exec();
curl_close($ch);
?
关于其它更多的内容,请参看相干的cURL手册。
大家如果能懂得“熟能生巧”的道理也就明白了这并不是浪费时间,同时这也可以减轻板主的负担,让他们有时间去处理更难的问题。 |
|