基于DO M状态转换的隐网页信息抽取算法

• 作者: 房勇 李银胜
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: Web信息抽取 隐Web 网页爬虫
• 年，卷（期）: 2015,（9）
• 所属期刊栏目: 综合评述
• 页码范围: 17-21
• 页数: 5页
• 分类号: TP3
• 字数: 6400字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2015.09.005

摘要

由于网页大量包含动态JavaScript脚本，造成大部分网页内容对传统的网页爬虫不可见。为此，提出一种基于DOM状态转换的隐网页信息抽取算法。该算法增量地构建DOM状态转换机，以DOM节点及其点击事件作为状态机的输入事件。对能够引起目标节点变化的转换路径进行递归搜索；通过重放点击路径，自动完成目标节点的内容抓取；通过覆盖监听器方法原型，获取DOM树中所有可点击的节点作为候选节点。该算法应用RTDM算法和自定义过滤器来对DOM状态空间进行压缩，以缩减搜索空间，定义DOM树中候选节点到目标节点的距离作为h打分，进行启发式搜索。实验表明，所研究算法性能优良，对隐网页内容的抽取准确率达到89．48％，可应用在网页自动化测试、网页爬虫等领域。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李银胜		2	7	1.0	2.0
2	房勇	复旦大学软件学院	1	7	1.0	1.0