Elasticsearch如何进行词语扩展引入?
admin
2023-02-16 13:00:14
0

进行词语扩展引入的问题我们在此解决

首先看下效果

GET /operation/_search
{
  "query": {
    "match": {
      "store_name": "凯悦"
    }
  }
}

结果

{
  "took" : 38,
  "timed_out" : false,
  "_shards" : {
    "total" : 3,
    "successful" : 3,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  }
}

此时的分词器对凯悦二字的分词如下

{
  "tokens" : [
    {
      "token" : "凯悦",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

因为我们的索引在创建的时候凯悦词语还没有被扩展,所以创建索引的时候分词器会把凯悦分成两个字,而此时分词器将凯悦分词成一个词语凯悦,故而无法搜索到任何文档。

解决思路一:

首先想到的是重建索引,因为此时分词器词典中已经有了凯悦这个词语,然后在全量复制文档到新的索引中,如果是数据量不大的情况下是可以快速迁移,如果数据量大的话不建议这样做,然而有些情况可能只是部分文档与要扩展词语相关,所以这个方法比较笨拙,不建议使用。

解决思路二:

通过Elasticsearch官方提供的API接口update_by_query可以将与凯悦相关的文档重新分词

具体操作如下

POST /operation/_update_by_query
{
  "query": {
    "bool": {
      "must": [
        {"term": {"store_name": "凯"}},
        {"term": {"store_name": "悦"}}
      ]
    }
  }
}

意思是必须满足如上两个条件的文档才会被检索到并进行分词修改,即文档名称同时包含才被重新分词

执行结果

{
  "took" : 240,
  "timed_out" : false,
  "total" : 4,
  "updated" : 4,
  "deleted" : 0,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

可以看到有四条文档被修改

再次通过凯悦搜索此时就没有质保含的文档出现了

相关内容

热门资讯

尺素金声|中国经济“失速论”站... 一季度GDP同比增长5.0%、二季度增长4.3%、上半年增长4.7%,2026年中国经济半年报发布后...
NVIDIA最深的护城河要凉!... 7月24日消息,AMD在Advancing AI预简报会上表示,CUDA已不再是外界想象中的那条护城...
廖杰远:三大智能体协同闭环,A... 中国日报网7月24日电 7月22日,在2026年世界互联网大会数字丝路发展论坛数智健康分论坛上,微医...
AI时代构筑超级底座 维谛技术... 文/本报记者 当前,人工智能产业竞争持续向产业链上游延伸,算力竞争早已不再局限于计算芯片性能比拼。具...
刚签核协议不到24小时,美国突... 美国东部时间7月22日下午,美国宣布与沙特阿拉伯签署了一项民用核能协议。据美国有线电视新闻网(CNN...
中国信通院牵头,数据编织国际标... IT之家 7 月 24 日消息,中国信通院今日发文称,国际电信联盟第 21 研究组(ITU-T SG...
国内首颗商业空间碎片监测卫星发... 【国内首颗商业空间碎片监测卫星发射成功】《科创板日报》24日讯,7月24日上午,中科宇航力箭一号运载...
邓煜,诗人,数学家,老二次元 来源 视觉中国菲尔兹奖的通知邮件抵达时,普林斯顿大学数学博士、芝加哥大学数学系教授邓煜正在看一本恋爱...
安全生产许可证状态不是“有效”... 工程公司的安全生产许可证在官方系统显示为“其他”状态,有一栏则显示“整改”,却成为高标准农田项目的第...
深化产教融合 推进数智育人 哈... 7月23日,由阿里国际人工智能人才孵化中心(以下简称“阿里国际AITIC”)主办的“智启未来·数智赋...