使用tf*idf实现对文档集合的检索
admin
2023-07-04 01:22:59
0

步骤:

  1. 读取三篇文档1.txt,2.txt,3.txt,里边的内容分别为“this is php”,“this is html html”,“this is java”

  2. 分词,并统计词频tf

  3. 计算文档频率df

  4. 计算每篇文档的特征向量

  5. 计算搜索词与文档的夹角余弦值

$_value){
            $_value = trim($_value);
            $_value = preg_replace('/[.|,|(|)|-|;]/','',$_value);
            $_words[$i][$_key]=strtolower($_value);
                    
        }
        //统计文档所有词的长度,一般计算tf需要除以这个值,为了简便,本次试验省去这步
        //$_words_count[]=count($_words[$i]);
        //词频tf
        $_tf[] = array_count_values($_words[$i]);
        //去重
        $_words[$i]= array_unique($_words[$i]);
    }  
            
    //合并
    $_words_com = array_merge($_words[0],$_words[1],$_words[2]);
    //文档频率
    $_df = array_count_values($_words_com);
    //特征向量
    for ($i = 0;$i < $_len;$i++){
        //初始化,与文档频率的维度相同
        $_vsm[$i] = $_df;
        //把每个维度的值设置为0
        foreach($_vsm[$i] as $_key=>$_value){
            $_vsm[$i][$_key] = 0;
        }
        for ($j=0;$j';
    }
            
    //测试
    $_query = 'java';
    $_vsm_que = $_df;
    foreach($_vsm_que as $_key=>$_value){
        $_vsm_que[$_key] = 0;
    }
    if (in_array($_query,$_vsm_que)){
        $_vsm_que[$_query] = 1;
    }
            
    for ($i = 0; $i < count($_vsm); $i++){
        foreach($_vsm_que as $_key=>$_value){
            $_sim[$i] += ($_vsm[$i][$_key]) * ($_vsm_que[$_key]);
            $_w1 += pow($_vsm_que[$_key],2);
            $_w2 += pow($_vsm[$i][$_key],2);
        }
        //求夹角余弦值,相似度计算
        $_cos[$i] = $_sim[$i]/(sqrt($_w1)*sqrt($_w2));
        echo '
'; echo '第'.($i+1).'篇文档的相似度:'.$_cos[$i]; } arsort($_cos); foreach($_cos as $_key=>$_value){ echo '

'; echo '最符合的结果为第'.($_key+1).'篇文档'; break; } ?>


在浏览器运行的结果:


第1篇文档的特征向量: (0,0,1.09861228867,0,0)
第2篇文档的特征向量: (0,0,0,2.19722457734,0)
第3篇文档的特征向量: (0,0,0,0,1.09861228867)

第1篇文档的相似度:0
第2篇文档的相似度:0
第3篇文档的相似度:0.235702260396

最符合的结果为第3篇文档

相关内容

热门资讯

内蒙古包头:首批投运1000辆... 新华社5月31日消息,近日,我国自主研发的氢能两轮车在内蒙古自治区包头市面向公众投入运营,首批将在公...
缅甸边境发生爆炸,云南群众目击... 5月31日,缅甸掸邦北部南坎镇发生一起爆炸事故,已导致多人伤亡,多处民宅、房屋遭到严重损毁。经初步调...
大湾区打出智造新名片,高域首台... 近日,在广州黄埔区的智能制造产业园内,一架白色多旋翼飞行器缓缓驶出生产线,标志着高域(GOVY)这家...
VR眼镜与元宇宙:沉浸式体验会... VR眼镜与元宇宙:沉浸式体验会不会导致“魂不守舍”?虚拟现实对精神能量的消耗 杨明德/文 朋友们好,...
张凌赫粉丝挤爆玻璃门、活动临时... 5月31日,张凌赫原定在广西南宁万象城出席品牌活动,大批粉丝早早前往商场排队等候。现场人潮涌动,人群...
5月31日“蓝月亮”上线,还是... 据新华社:5月31日,农历四月十五,一轮满月将现身夜空。这轮满月有些特别,它是本月第二次满月,同时它...
中国的刀产量,究竟有多恐怖? 中年男人在短视频平台最爱看啥?小姐姐跳舞?那你可就想错了——锻刀大赛才是中年男人真正的“减速带”。在...
花费半生积蓄,农村自建房热背后 今年以来,在安徽安庆望江县做外墙漆生意的徐仙琴越来越忙碌了,她和员工们每天奔波在县城的各个村庄里,找...
黎以冲突再升级对中东地区影响几... 从当前的局势来看,黎以双方博弈已陷入谈判停滞、战火升级的恶性循环,地区冲突风险持续走高。根据以军发布...
易事达取得载带冷却定型装置专利... 国家知识产权局信息显示,浙江易事达电子材料有限公司取得一项名为“一种载带冷却定型装置”的专利,授权公...