利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode
SpiderTools.class.php
复制代码 代码如下:
session_start();
//封装成类 开启这些自动抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*传入文章ID 解析出文章标题*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
//初始化curl
$ch= curl_init();
//url
$url='http://www.motie.com/book/'.$aid;
if(is_numeric($aid)){
//正则表达式匹配
$ru="/\s*(.*)\s*<\/a>\s*<\/h2>/";
}
else{
//丧尸爆发之全家求生路_第一章 丧尸爆发 为吾友爱乐儿更新~_磨铁
$ru="/(.*)<\/title>/";<br/> }<br/> //设置选项，包括URL<br/> curl_setopt($ch, CURLOPT_URL, $url);<br/> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容<br/> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息<br/> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); <br/> //执行curl<br/> $output = curl_exec($ch);<br/> //错误提示<br/> if(curl_exec($ch) === false){<br/> die(curl_error($ch));<br/> }<br/> // 检查是否有错误发生<br/> if(curl_errno($ch)){<br/> echo 'Curl error: ' . curl_error($ch);<br/> }<br/> //释放curl句柄<br/> curl_close($ch);<br/> $arr=array();<br/> preg_match_all($ru,$output,$arr);<br/> return $arr[1][0];<br/> }<br/> ////////////////////////////////////////////////////////////////////////////////////////////////////////// <br/> /*传入文章ID 解析文章内容*/<br/> //////////////////////////////////////////////////////////////////////////////////////////////////////////<br/> public function getBookContextById($aid){<br/> //开始解析文章<br/> $ids=array();<br/> $ids=explode("_",$aid);<br/> $titleId=trim($ids[0]);<br/> $aticleId=trim($ids[1]);<br/> $ch= curl_init();<br/> $ru="/<div class=\"page-content\">[\s\S]*<pre ondragstart=\"return false\" oncopy=\"return false;\" oncut=\"return false;\" oncontextmenu=\"return false\" class=\"note\" id=\"html_content_\d*\">[\s\S]*(.*)<img src=\"\/ajax\/chapter\/$titleId\/$aticleId\" class=\"hidden\" \/><\/pre>/ui"; <br/> $url='http://www.motie.com/book/'.$aid;<br/> //正则表达式匹配</p><p> //设置选项，包括URL<br/> curl_setopt($ch, CURLOPT_URL, $url);<br/> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容<br/> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息<br/> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); <br/> //执行curl<br/> $output = curl_exec($ch);<br/> //错误提示<br/> if(curl_exec($ch) === false){<br/> die(curl_error($ch));<br/> }<br/> // 检查是否有错误发生<br/> if(curl_errno($ch)){<br/> echo 'Curl error: ' . curl_error($ch);<br/> }<br/> $arr=array();<br/> $arr2=array();<br/> preg_match_all($ru,$output,$arr);<br/> curl_close($ch);<br/> #var_dump($arr);<br/> $s=$arr[0][0];<br/> $s=substr($s,180);<br/> $arr2=explode("<img",$s);<br/> return trim($arr2[0]);<br/> }</p><p> ////////////////////////////////////////////////////////////////////////////////////////////////////////// <br/> /*静态方法 @生成小说文件 可以直接调用 */<br/> //////////////////////////////////////////////////////////////////////////////////////////////////////////<br/> public static function createBookById($id){<br/> <br/> if(!is_numeric($id)){</p><p> echo "<br/>INIT BEGIN START WRITE!";<br/> $st=new self();<br/> $cons=$st->getBookContextById($id);<br/> $title=$st->getBookNameById($id);<br/> $cons=trim($cons);<br/> $t=explode(" ",$title);<br/> //构造目录<br/> $dir=array();<br/> $dir=explode("_",$t[0]);<br/> $wzdir=$dir[0]; //书名称 作为目录名称<br/> $wzchapter=$dir[1]; //第几章<br/> //创建目录<br/> $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码 注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码<br/> if(!file_exists($wzdir2)){<br/> mkdir($wzdir2); //创建目录<br/> }<br/> //构造文件名<br/> $wztitle="./".$wzdir."/"."$t[0]".".txt";<br/> //保证保存的文件名称不是乱码<br/> $wztitle=iconv("UTF-8", "GBK", $wztitle);<br/> $f=fopen($wztitle,"w+");<br/> fwrite($f,$cons);<br/> echo "<font color='green'>$wzdir </font>".$wzchapter."<font color='red'>写入成功</font>";<br/> fclose($f); <br/> <br/> } <br/> else{<br/> $ids=self::getBookIdsById($id); <br/> <br/> //这里服务器可能会掉线，所以最好用session记录循环<br/> #for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){<br/> <br/> #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id<br/> #}<br/> <br/> for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){<br/> <br/> self::createBookById($id."_".$ids[$i]);//构造id<br/> }<br/> <br/> #echo "<hr/><hr/><br/><h2>写入工作全部完成</h2>";<br/> #echo $id."_".$ids[0]."<br/>"; <br/> #var_dump($ids);<br/> <br/> }</p><p><br/> }<br/> /*<br/> 获取小说的所有ID<br/> @param $id 文章ID<br/> @return array;<br/> */<br/> public static function getBookIdsById($aid){ <br/> $ch= curl_init();<br/> $url='http://www.motie.com/book/'.$aid."/chapter";<br/> //注意这里的?可以获取最少匹配项<br/> $ru='/[\s\S]*?<li class=\"\" createdate=\"\d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2}\">[\s\S]*?<a href=\"\/book\/'.$aid.'_(\d*?)\"\s{1}>.*?<\/a>.*?/u';//正则表达式匹配<br/> //设置选项，包括URL<br/> curl_setopt($ch, CURLOPT_URL, $url);<br/> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容<br/> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息<br/> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); <br/> //执行curl<br/> $output = curl_exec($ch);<br/> // 检查是否有错误发生<br/> if(curl_errno($ch)){<br/> echo 'Curl error: ' . curl_error($ch);<br/> }<br/> //释放curl句柄<br/> curl_close($ch);<br/> $arr=array();<br/> preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);<br/> return $arr[1];<br/> }<br/>}<br/>?><br/></p><p>getinfo.php<br/></p><p><span >复制代码</span> 代码如下:</p><p><br/><?php<br/> session_start();<br/>require_once("SpiderTools.class.php");<br/>if($_REQUEST["bid"]){<br/>if(is_numeric($_REQUEST["bid"])){<br/> SpiderTools::createBookById(trim($_REQUEST["bid"]));<br/> }<br/> else{<br/> echo "<br/>请输入正确的文章ID<br/>";<br/> }<br/>}<br/>?><br/></p><p>index.html<br/></p><p><span >复制代码</span> 代码如下:</p><p><br/><html><br/><head><meta charset="utf-8"/></head><br/><title>下载小说啦
输入磨铁中文网你想看到的小说ID号就可以下载小说啦
