基于分层狄利克雷过程模型的文本分割

• 作者: 席耀一 张佳明 李天彩 王波
• 来源期刊: 数据采集与处理
• 学科: 工学
• 关键词: 主题模型 文本分割 分层狄利克雷过程 CRF构造
• 年，卷（期）: 2017,（2）
• 页码范围: 408-416
• 页数: 9页
• 分类号: TP391
• 字数: 6341字
• 语种: 中文
• DOI: 10.16337/j.1004-9037.2017.02.023

摘要

文本分割在文本摘要、信息检索等诸多领域都有重要的应用.主题模型是该领域研究中的重要方法,但目前基于主题模型的方法普遍依赖于主题个数的人工设置.针对此问题,本文提出了一种基于分层狄利克雷过程(Hierarchical Dirichlet process,HDP)模型的文本分割方法.首先使用HDP模型获取文本在主题空间的向量表示,然后将主题向量用于C99分割算法实现文本分割,最后使用两种优化策略对结果进行优化.实验结果表明,基于HDP模型的方法能够摆脱对人工设置主题个数的依赖,有效提高了文本分割的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	席耀一	解放军信息工程大学信息系统工程学院	14	100	6.0	9.0
2	王波	解放军信息工程大学信息系统工程学院	19	157	7.0	12.0
3	张佳明	解放军信息工程大学信息系统工程学院	3	40	3.0	3.0
4	李天彩	解放军信息工程大学信息系统工程学院	6	58	4.0	6.0