基于词典词语量化关系的中文文本分割方法

• 作者: 刘磊 胡熠 钟茂生
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本分割 词语量化关系 句子相关性度量 间隔点 分隔值
• 年，卷（期）: 2008,（21）
• 所属期刊栏目: 博士论坛
• 页码范围: 25-29,88
• 页数: 6页
• 分类号: TP311
• 字数: 6952字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2008.21.007

摘要

随着Internet网络资源的快速膨胀,海量的非结构化文本处理任务成为巨大的挑战.文本分割作为文本处理的一个重要的预处理步骤,其性能的优劣直接影响信息检索、文本摘要和问答系统等其他任务处理的效果.针对文本分割中需要解决的主题相关性度量和边界划分策略两个根本问题,提出了一种基于词典词语量化关系的句子间相关性度量方法,并建立了一个计算句子之间的间隔点分隔值的数学模型,以实现基于句子层次的中文文本分割.通过三组选自国家汉语语料库的测试语料的实验表明,该方法识别分割边界的平均错误概率pk和最低值均好于现有的其他中文文本分割方法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	胡熠	上海交通大学计算机科学与工程系	15	141	5.0	11.0
2	钟茂生	上海交通大学计算机科学与工程系	3	39	3.0	3.0
6	刘磊	上海交通大学计算机科学与工程系	83	1038	17.0	29.0