面向文本知识管理的自适应中文分词算法

• 作者: 冯永 唐黎 贺迅 陈显勇 陈贞
• 来源期刊: 重庆大学学报
• 学科: 工学
• 关键词: 知识管理 文本处理 统计方法 自适应算法
• 年，卷（期）: 2010,（10）
• 页码范围: 110-117
• 分类号: TP182
• 语种: 中文

摘要

针对传统字典匹配分词法在识别新词和特殊词处理方面的不足,结合2元统计模型提出了面向文本知识管理的自适应中文分词算法--SACWSA.SACWSA在预处理阶段结合应用有限状态机理论、基于连词的分隔方法和分治策略对输入文本进行子句划分,从而有效降低了分词算法的复杂度;在分词阶段应用2元统计模型,结合局部概率和全局概率,完成子句的切分,从而有效地提升了新词的识别率并消除了歧义;在后处理阶段,通过建立词性搭配规则来进一步消除2元分词结果的歧义.SACWSA主要的特色在于利用"分而治之"的思想来处理长句和长词,用局部概率与全局概率相结合来识别生词和消歧.通过在不同领域语料库的实验表明,SACWSA能准确、高效地自动适应不同行业领域的文本知识管理要求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯永	重庆大学计算机学院	34	348	11.0	17.0
2	贺迅	重庆大学计算机学院	1	11	1.0	1.0
3	唐黎	重庆大学计算机学院	1	11	1.0	1.0
4	陈显勇	重庆大学计算机学院	2	18	2.0	2.0
5	陈贞	重庆大学计算机学院	1	11	1.0	1.0