使用aardio抓取网页数据
admin
2023-07-26 12:40:08
0

项目说明:【抓取网页数据】

项目介绍:
采集指定网页内容,通过模式匹配匹配到要采集的数据格式返回到数组中

项目步骤:
1.创建匹配模式表
2.请求网页连接
3.过滤文本,并对数据去重处理
4.显示结果

效果展示:   

使用aardio抓取网页数据

完整代码:

    import console; 
/*
项目说明:【抓取网页数据】
项目介绍:
    采集指定网页内容,通过模式匹配匹配到要采集的数据格式返回到数组中
项目步骤:
    1.创建匹配模式表
    2.请求网页连接
    3.过滤文本,并对数据去重处理
    4.显示结果
*/
//参考来源:http://bbs.aardio.com/forum.php?mod=viewthread&tid=11218&extra=page%3D1

import web.rest.jsonClient;

var httpUrl="http://www.meijumi.vip/usa/katong/5754.html";

//1.获取用于查找的模式匹配数组
var parttern = {};
table.push(parttern, `ed2k\://[^\s"']+`);

//2.请求网页链接
var http = web.rest.jsonClient();
var magnet = http.api(httpUrl,,parttern);
var urls = magnet.get();

//console.log("采集到的数据列表:");
//for(k,v in urls){ 
//  console.log(k, v);
//}

//3.过滤文本,并对数据去重处理
var resultStr="";
if(urls){
    var f = `S01E`;//过滤文本
    if(#f){
        //筛选结果
        urls = table.filter(urls, function(v){
            return string.find(v,f); 
        })  

        urls = table.unique(urls);//数组去重
    } 
    //提取结果
    resultStr = string.join(urls,'\r\n');//将字符串数组使用指定的分隔符合并为一个字符串   
}

//4.显示结果
console.log("采集结果:", resultStr)

console.pause(true);

相关内容

热门资讯

韩国政府将投资千万亿韩元于AI... 韩国总统李在明29日在总统府青瓦台主持召开会议,公布总额超千万亿韩元的半导体、物理人工智能(AI)和...
以色列防长称以伊可能随时再起冲... △卡茨(资料图)据以色列方面29日消息,以国防部长卡茨当天表示,鉴于复杂的安全局势和在黎巴嫩的军事行...
零售门店会员激活与5G视频触达... 导语:据2025年行业白皮书数据显示,国内AI语音呼叫市场近三年复合增长率达32.7%,2026年市...
存量商办“变”医院!深圳探索公... 深圳商报·读创客户端首席记者 李秀瑜 深圳存量资产盘活跑出新模式。 6月27日,深圳市中医院针灸推拿...
伊朗称未来几天没有与美方谈判的... △巴加埃(资料图)当地时间29日晚间,伊朗外交部发言人巴加埃对外界表示,伊方未来几天没有与美方开展任...
关于霍尔木兹海峡排雷,伊朗:我... 伊朗外交部当地时间29日晚间在一份声明中表示,根据《伊斯兰堡谅解备忘录》,霍尔木兹海峡的排雷工作将由...
卡塔尔建议民众暂停出海 卡塔尔交通部29日建议民众暂停出海航行和海上活动。卡塔尔交通部当天在社交媒体发布公报说,为保障公共安...
朱克力:促进算力供给持续稳定普... 朱克力 | 立方大家谈专栏作者 当前,我国经济社会进入数字化智能化深度融合的发展阶段,生产方式、产业...
把脉“人工智能+” 求解教育科... 推进新质生产力发展,教育科技人才须同频共振;拥抱人工智能时代,技术创新当与人文精神相互校准。 近日...
“人造太阳”有新突破!可控核聚... 万亿级赛道传来好消息。 核聚变堆超导磁体研发取得重要突破 6月27日,我国“人造太阳”项目取得关键进...