开源中文分词器在web搜索引擎中的应用

• 作者: 刘晓婉 胡燕祝 艾新波
• 来源期刊: 软件
• 学科: 工学
• 关键词: 分词器 web搜索 信息检索 智能分词 全文搜索
• 年，卷（期）: 2013,（3）
• 所属期刊栏目: 理论计算机科学
• 页码范围: 80-83
• 页数: 4页
• 分类号: TP391.3
• 字数: 3722字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2013.03.023

摘要

目前,在信息检索方面,一般分词器对英文的支持相对较好,但对中文分词效果不太理想；随着web搜索在互联网中的广泛应用,中文分词器也出现了突飞猛进的发展,尤其以IKAnalyzer分词器为主的分词工具,为更多企事业单位所采纳.本文主要在词条化等方面对分词原理进行深入的分析,并且对如何构造智能分词词典进行了探讨.同时,对分词内部结构进行研究,在分词数目和速率方面对目前主流的中文分词器进行了比较,并运用htmlparser库对北京邮电大学的网站进行解析,采用分词工具Paoding Analysis建立索引文件存入本地,利用solr4.0全文搜索服务器给出运用中文分词后的查询效果图,实现对北京邮电大学网站的全文搜索功能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘晓婉	北京邮电大学电子工程学院	1	32	1.0	1.0
2	胡燕祝	北京邮电大学自动化学院	11	59	4.0	7.0
3	艾新波	北京邮电大学自动化学院	4	41	3.0	4.0