基于LDA模型的文本分割

• 作者: 戴国忠 石晶 石鑫 胡明
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 文本分割 LDA模型 相似性度量 边界识别
• 年，卷（期）: 2008,（10）
• 所属期刊栏目: 学术通信
• 页码范围: 1865-1873
• 页数: 9页
• 分类号: TP301
• 字数: 6910字
• 语种: 中文
• DOI: 10.3321/j.issn:0254-4164.2008.10.022

摘要

文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数.获取词汇的概率分布.使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块,尝试多种相似性度量手段及边界估计策略,其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	戴国忠	中国科学院软件研究所人机交互技术与智能信息处理实验室	146	3450	33.0	52.0
2	石晶	长春工业大学计算机科学与工程学院	8	243	4.0	8.0
3	胡明	长春工业大学计算机科学与工程学院	35	397	9.0	19.0
4	石鑫	辽宁师范大学功能材料化学研究所	15	166	3.0	12.0