php网页爬虫
admin
2023-07-02 03:03:08
0

/*网页爬虫*/

#最简单的使用,属性都采用默认值

/*

$curl=curl_init('http://www.baidu.com');

$output=curl_exec($curl);

curl_close($curl);

echo $output;

*/


#稍微复杂一点的,对页面进行操作

/*

$curl=curl_init();

curl_setopt($curl, CURLOPT_URL, 'http://www.baidu.com');//可以动态改变网址

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);//不直接打印在浏览器上

$output=curl_exec($curl);//执行

curl_close($curl);//关闭

echo str_replace('百度', '虎哥', $output);

*/


#更复杂一点的,模拟POST请求

/*

$data='theCityName=北京';

$curl=curl_init();

curl_setopt($curl, CURLOPT_URL,'http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName');

curl_setopt($curl,CURLOPT_HEADER, 0);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($curl,CURLOPT_POST, 1);

curl_setopt($curl,CURLOPT_POSTFIELDS,$data);

curl_setopt($curl,CURLOPT_HTTPHEADER,array('application/x-www-form-rulencode;charset=utf-8','Content-length'.strlen($data)));

$output=curl_exec($curl);

if(!curl_errno($curl)){

//$info=curl_getinfo($curl);

//print_r($info);

header('Content-type:text/html;charset=utf-8;');

echo $output;

}else{

echo 'Curl Error:'.curl_error($curl);

}

curl_close($curl);

*/


#抓取需要登录的页面

/*

$data='username=2232839753@qq.com&password=19900417&remember=1';

$curl=curl_init();

curl_setopt($curl,CURLOPT_URL,'http://www.imooc.com/user/login');

curl_setopt($curl,CURLOPT_RETURNTRANSFER, true);//执行之后不直接打印出来

//Cookie相关设置,这部分设置需要在所有回话开始之前设置

date_default_timezone_set('PRC');//使用cookie时必须设置时区

curl_setopt($curl,CURLOPT_COOKIESESSION, true);

curl_setopt($curl,CURLOPT_COOKIEFILE,'cookiefile');

curl_setopt($curl,CURLOPT_COOKIEJAR,'cookiefile');

curl_setopt($curl,CURLOPT_COOKIE, session_name().'='.session_id());

curl_setopt($curl,CURLOPT_HEADER,0);//禁止输出头信息

curl_setopt($curl,CURLOPT_FOLLOWLOCATION, 1);

curl_setopt($curl,CURLOPT_POST, 1);

curl_setopt($curl,CURLOPT_POSTFIELDS, $data);

curl_setopt($curl,CURLOPT_HTTPHEADER,array('application/x-www-form-rulencode;charset=utf-8','Content-length:'.strlen($data)));

curl_exec($curl);//执行

curl_setopt($curl,CURLOPT_URL,'http://www.imooc.com/space/index');

curl_setopt($curl,CURLOPT_POST,0);//下载页面不是post请求,故置0

curl_setopt($curl,CURLOPT_HTTPHEADER,array('Content-type:text/xml'));

$output=curl_exec($curl);

echo $output;

*/


#从ftp服务器上下载一个文件

/*

$curl=curl_init();

curl_setopt($curl,CURLOPT_URL,'ftp://10.14.12.22:21/test.txt');

curl_setopt($curl,CURLOPT_HEADER,0);//禁止输出头信息,调试时,可以输出

curl_setopt($curl,CURLOPT_RETURNTRANSFER, 1);

curl_setopt($curl,CURLOPT_TIMEOUT,300);//设置超时时间,单位秒

curl_setopt($curl,CURLOPT_USERPWD,"admin:123");//ftp用户名,密码

$outfile=fopen('mytest.txt', 'wb');//保存到本地的文件名

curl_setopt($curl,CURLOPT_FILE,$outfile);

$output=curl_exec($curl);

fclose($outfile);

if(!curl_errno($curl)){

//$info=curl_getinfo($curl);

//print_r($info);

echo "RETURN:".$output;

}else{

echo 'Curl error:'.curl_error($curl);

}

curl_close($curl);

*/


#ftp文件上传

/*

$curl=curl_init();

$uploadfile='demo1.php';

$fp=fopen($uploadfile,'r');

curl_setopt($curl, CURLOPT_URL, 'ftp://10.14.12.22:21/uploadfile.php');

curl_setopt($curl, CURLOPT_HEADER,0);

curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);

curl_setopt($curl, CURLOPT_TIMEOUT,300);

curl_setopt($curl,CURLOPT_USERPWD,'admin:123');

curl_setopt($curl,CURLOPT_UPLOAD,1);

curl_setopt($curl, CURLOPT_INFILE, $fp);

curl_setopt($curl,CURLOPT_INFILESIZE,filesize($uploadfile));

$output=curl_exec($curl);

fclose($fp);

if(!curl_errno($curl)){

echo 'uploadfile successfully';

}else{

echo 'uploadfile error:'.curl_error($curl);

}

curl_close($curl);

*/


#curl访问https上的资源

/*

$curl=curl_init();

curl_setopt($curl,CURLOPT_URL,'https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js');

curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);

date_default_timezone_set('PRC');

curl_setopt($curl,CURLOPT_SSL_VERIFYPEER,0);//终止从服务端进行验证

$output=curl_exec($curl);

curl_close($curl);

echo $output;

*/


//php官方文档网址:http://php.net/manual/zh/book.curl.php

?>


相关内容

热门资讯

美国计划加速从欧洲撤军 【文/观察者网 王恺雯】德国《星期日世界报》(Welt am Sonntag)5月30日报道,五角大...
日本何时道歉?解放军代表当场质... 【环球时报-环球网报道 记者 郭媛丹 苏雅瑄】31日上午,解放军专家学者代表团成员、国防大学沈志雄大...
攻坚百年工程,港珠澳大桥工程总... 5月30日,是第十个全国科技工作者日。中央宣传部、中国科协于29日向全社会发布“最美科技工作者”。于...
一个因煤矿改变命运的村社:12... 极目新闻记者 张皓位于鄂尔多斯市伊金霍洛旗札萨克镇的乌兰陶勒盖村七社,是地处黄河“几字弯”腹地的一个...
华为徐直军“感谢”美国制裁:使... 感谢IT之家网友 的线索投递! 5 月 31 日消息,据钛媒体报道,华为副董事长、轮值董事长徐直军...
万向一二三申请高镍三元材料改性... 国家知识产权局信息显示,万向一二三股份公司申请一项名为“高镍三元材料改性方法和具有氮氧包覆层的高镍正...
滑坡发生前,社区书记多看一眼救... 5月27日傍晚,湖北恩施市舞阳坝街道官坡社区园艺场上空传来一声巨响,约6000立方米的土石倾泻而下,...
芬尼能源取得电器盒座及热泵专利... 国家知识产权局信息显示,广东芬尼能源技术有限公司取得一项名为“一种电器盒座及热泵”的专利,授权公告号...
数日前起火的广州长江(中国)轻... 5月31日上午,有网友发视频称,广州长江(中国)轻纺城北区发生火情。多名网友发布的视频显示,一栋印有...
原创 就... 看见中国神舟在太空顺利会师,印度又开始蠢蠢欲动了吗? 5月24日晚,中国神舟二十三号载人飞船在酒...