php爬虫原型
admin
2023-06-13 13:02:35
0
/*
 @desc:爬虫原型
 @author [Lee] <[]>
 @param url 初始url
 @param callback 处理业务的回调函数
 @param 挖掘url的深度 默认3
 */
function crawl($url,$callback,$depth = 3){
    if($depth > 0){
        $depth--;
        $http = new http($url);
        $content = $http->get()->exec();
        // 业务处理开始
        call_user_func($callback,$content);
        // 业务处理结束
        $preg = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
        $bool = preg_match_all($preg,$content,$res);
        $urls = array();
        if($bool){
            $urls = $res[1];
        }
                $urls = array_unique($urls);
        $info = parse_url($url);
        $scheme = $info["scheme"]?:'http';
        $user = $info["user"];
        $pass = $info["pass"];
        $host = $info["host"];
        $port = $info["port"];
        $path = $info["path"];
        $url = $scheme . '://';
        if ($user && $pass) {
            $url .= $user . ":" . $pass . "@";
        }
        $url .= $host;
        if ($port) {
            $url .= ":" . $port;
        } 
        $url .= $path;
        if (is_array($urls)) {
            foreach ($urls as $u) {
                if (preg_match('/^http/', $u)) {
                    $returl = $u;
                } else {
                    $real = $url . '/' . $u;
                    $returl = $real;
                }
                crawl($returl,$callback,$depth);
            }
        }
    }
}

相关内容

热门资讯

鲁比奥紧急安抚,但“若美国对华... 【文/观察者网 王一】当地时间5月26日,美国国务卿鲁比奥将结束为期4天的访印行程。从与印度总理莫迪...
打响“河南服务”品牌丨用江湖情... 2025年,开封万岁山武侠城全年综合营收达12.7亿元,接待游客2452.2万人次,营收3年间增长1...
凡星闪耀丨一个人的光影山路 —... “放电影去?”“对,今天去王家辿。”5月13日傍晚,李全民开着汽油三轮车,刚拐进鹤壁市鹤山区姬家山乡...
今年我国养老机器人市场规模将破... 今天(26日),中国软件评测中心发布了《智能养老服务机器人产业演进与未来趋势研究》报告。报告显示,我...
中国之城|河南安阳:如切如削的... 新华社郑州5月25日电 题:河南安阳:如切如削的山前之城当你站在河南安阳的林州太行阁前,会瞬间秒懂“...
中信建投:海外AI行业核心投资... 人民财讯5月26日电,中信建投证券研报称,海外AI行业核心投资逻辑呈现两条主线:在硬件与基础设施端,...
中华人民共和国和塞尔维亚共和国... 新华社北京5月25日电中华人民共和国和塞尔维亚共和国关于持续推进构建新时代中塞命运共同体的联合声明应...
原创 “... 长沙晚报掌上长沙5月25日讯(全媒体记者 周斌 通讯员 熊奇欢 周秋燕)24日,搭载神舟二十三号载人...
大模型公司门口,挤满了送钱的投... 文 | 白鲸实验室 今年大模型公司最大的变数之一,是DeepSeek也开始下场融资。这意味着,即使...
安克创新:具身智能相关研发正按... 上证报中国证券网讯(记者 夏子航)在5月24日披露的投资者关系活动记录表中,安克创新表示,公司在具身...