一种Web评论自动抽取方法

• 作者: 严华梁 刘伟 曾建勋 肖建国
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: Web用户评论 结构化数据记录 Web数据抽取
• 年，卷（期）: 2010,（12）
• 页码范围: 3220-3236
• 分类号: TP311
• 字数: 12089字
• 语种: 中文
• DOI: 10.3724/SP.J.1001.2010.03961

摘要

Web用户评论是许多重要应用的信息来源,比如公众舆情的检测与分析,Web用户评论必须从网页中准确地抽取出来.用户生成内容(user-generated content)不受页面模板的限制,这就给Web数据抽取提出了新的挑战:首先,不同用户评论内容的不一致性严重影响了评论记录在DOM树和视觉上的相似性;其次,评论内容在DOM树中是一棵复杂的子树,而且彼此之间在DOM树中的结构相差巨大.为了解决这两个问题,提出了一种完整的解决方案,使用多种技术来实现对用户评论内容的抽取.抽取过程分为两个步骤,基于深度加权的树相似性算法评论记录首先从网页中抽取出来,然后通过比较DOM树中节点的一致性,将纯粹的用户评论内容从评论记录中抽取出来.在多个新闻网站和论坛网站上的实验结果表明,该方法可以达到较高的准确度和效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	肖建国	北京大学计算机科学技术研究所	30	478	12.0	21.0
2	刘伟		422	5903	37.0	59.0
3	曾建勋		97	1038	17.0	26.0
4	严华梁	北京大学计算机科学技术研究所	2	31	2.0	2.0