基于网站层次结构和主题模型LDA的网站自动摘要

• 作者: 李舒嫒 杨静 顾君忠
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: Web网页 网站自动摘要 隐含狄利克雷分布 网站层次结构 宽度优先搜索
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 207-211,216
• 页数: 6页
• 分类号: TP18
• 字数: 4484字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2017.04.035

摘要

近年来自动摘要方面的研究大多是关于多文档和Web网页的,而对网站自动摘要的研究较少.为此,基于主题模型隐含狄利克雷分布(LDA)和网站层次结构提出一个可以自动生成网站摘要的算法.该算法可获取整个网站内的网页信息并进行整合,根据提出的句子权重公式计算句子权重,选取权重最高的句子作为网站摘要.以20个商业和学术网站作为实验对象,使用ROUGE评测标准,结果表明,与仅使用主题模型LDA获取的网站摘要相比,不带停用词的ROUGE-1和ROUGE-L提高 0.32,带停用词的ROUGE-1提高0.39,ROUGE-L提高0.38.与网站首页摘要相比,不带停用词的ROUGE-1提高 0.03,ROUGE-L提高0.06,带停用词的ROUGE-1提高 0.08,ROUGE-L提高0.07.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	顾君忠	华东师范大学计算机科学技术系	158	1926	22.0	37.0
2	杨静	华东师范大学计算机科学技术系	46	388	9.0	17.0
3	李舒嫒	华东师范大学计算机科学技术系	1	0	0.0	0.0