lucene 同义词的索引
admin
2023-02-17 13:00:00
0
public interface SynonymEngine {

    String[] getSynonyms(String key);
}
public class SynonymEngineImpl implements SynonymEngine {
    
    private static HashMap map = new HashMap();

    static {
        map.put("quick",new String[]{"fast","speedy"});
        map.put("jumps",new String[]{"leaps","hops"});
        map.put("over",new String[]{"above"});
        map.put("lazy",new String[]{"apathetic","sluggish"});
        map.put("dog",new String[]{"canine","pooch"});
    }
    @Override
    public String[] getSynonyms(String key) {
        // TODO Auto-generated method stub
        return map.get(key);
    }

}
public class SynonymFilter extends TokenFilter {

    private SynonymEngine engine;
    private CharTermAttribute ct;
    private PositionIncrementAttribute pt;
    private Stack stack;
    private AttributeSource.State current;
    protected SynonymFilter(TokenStream input,SynonymEngine engine) {
        super(input);
        this.engine = engine;
        ct = this.addAttribute(CharTermAttribute.class);
        pt = this.addAttribute(PositionIncrementAttribute.class);
        stack  = new Stack();
    }

    @Override
    public boolean incrementToken() throws IOException {
        if(stack.size()>0) {
            this.restoreState(current);
            String p = stack.pop();
            ct.setEmpty();
            ct.append(p);
            pt.setPositionIncrement(0);
            return true;
        }
        System.out.println("++++++"+ct);
        if(!input.incrementToken()) return false;
        System.out.println("------"+ct);
        
        if(addSynonym(ct.toString())) {
            current = this.captureState();
            
        }
        
        
        
        
        return true;
    }
    
    private boolean addSynonym(String name) {
        String[] sa = engine.getSynonyms(name);
        if(sa != null && sa.length>0) {
            for(String s:sa) {
                stack.push(s);
            }
            return true;
        } else {
            return false;
        }
    }

}
public class SynonymAnalyzer extends Analyzer {

    private SynonymEngine engine;
    
    public SynonymAnalyzer(SynonymEngine engine) {
        this.engine = engine;
    }
    @Override
    public TokenStream tokenStream(String s, Reader reader) {
        // TODO Auto-generated method stub
        return new SynonymFilter(new StopFilter(Version.LUCENE_35,
                new LowerCaseFilter(Version.LUCENE_35,
                        new StandardFilter(Version.LUCENE_35,
                                new StandardTokenizer(Version.LUCENE_35,reader)))
                ,StopAnalyzer.ENGLISH_STOP_WORDS_SET),engine);
    }

}
public class TestSynonym {

    private RAMDirectory directory;
    @Test
    public void init() {
        directory = new RAMDirectory();
        SynonymEngine engine = new SynonymEngineImpl();
        IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_35,new SynonymAnalyzer(engine));
        String content = "The quick brown fox jumps over the lazy dog";
        
        try {
            IndexWriter writer = new IndexWriter(directory,config);
            Document doc = new Document();
            doc.add(new Field("content",content,Field.Store.YES,Field.Index.ANALYZED));
            writer.addDocument(doc);
            writer.close();
            
            IndexReader reader = IndexReader.open(directory);
            IndexSearcher searcher = new IndexSearcher(reader);
            TopDocs docs = searcher.search(new TermQuery(new Term("content","pooch")),10);
            for(ScoreDoc sd:docs.scoreDocs) {
                Document d = searcher.doc(sd.doc);
                System.out.println(d.get("content"));
            }
            
        } catch (CorruptIndexException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (LockObtainFailedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}


相关内容

热门资讯

最新引进“九酷众娱炸/金/花到... 您好:九酷众娱炸/金/花这款游戏可以开挂,确实是有挂的,需要了解加客服微信【9752949】很多玩家...
我来教教您“小程序麻将开挂器?... 网上科普关于“小程序麻将有没有挂”话题很是火热,小编也是针对小程序麻将作*弊开挂的方法以及开挂对应的...
今日重大消息“上海明星麻将到底... 有 亲,根据资深记者爆料上海明星麻将是可以开挂的,确实有挂(咨询软件无需...
【第一资讯】“中至上饶麻将怎么... 网上科普关于“中至上饶麻将有没有挂”话题很是火热,小编也是针对中至上饶麻将作*弊开挂的方法以及开挂对...
美媒:4州决定共和党中选能否守... 据凤凰卫视援引美国媒体称,总统特朗普重返白宫、同时共和党拥有参众两院多数的“全面掌控”局面能否维持,...
最新引进“新天天游戏真的有挂吗... 家人们!今天小编来为大家解答新天天游戏透视挂怎么安装这个问题咨询软件客服徽9752949的挂在哪里买...
最新引进“鱼虾蟹透视到底有挂吗... 您好:鱼虾蟹透视这款游戏可以开挂,确实是有挂的,需要了解加客服微信【4282891】很多玩家在这款游...
【第一财经】“潘潘讲故事究竟有... 您好:潘潘讲故事这款游戏可以开挂,确实是有挂的,需要了解加客服微信【9752949】很多玩家在这款游...
玩家分享攻略“杭州都莱可以开挂... 网上科普关于“杭州都莱有没有挂”话题很是火热,小编也是针对杭州都莱作*弊开挂的方法以及开挂对应的知识...
贵州省交通运输厅原党委委员、副... 经贵州省委批准,贵州省纪委监委对贵州省交通运输厅原党委委员、副厅长韩剑波严重违纪违法问题进行了立案审...