基于内容相似度的网页正文提取

• 作者: 刘宗田 廖涛 王利 王燕华
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 网页正文抽取 网页映射 网页清洗 文本相似度
• 年，卷（期）: 2010,（6）
• 所属期刊栏目: 软件技术与数据库
• 页码范围: 102-104
• 页数: 3页
• 分类号: TP393
• 字数: 3413字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2010.06.034

摘要

提出一种将复杂的网页脚本进行简化并映射成一棵易于操作的树型结构的方法.该方法不依赖于DOM树,无须用HTMLparser包进行解析,而是利用文本相似度计算方法,通过计算树节点中文本内容与各级标题的相似度判定小块文本信息的有用性,由此进行网页清洗与正文抽取,获得网页文本信息,实验结果表明,该方法对正文抽取具有较高的通用性与准确率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘宗田	上海大学计算机科学与工程学院	155	2834	28.0	47.0
2	廖涛	上海大学计算机科学与工程学院	9	121	6.0	9.0
3	王利	上海大学计算机科学与工程学院	9	115	5.0	9.0
4	王燕华	上海海洋大学信息学院	1	52	1.0	1.0