基于FFT的网页正文提取算法研究与实现

• 作者: 李蕾 王劲林 白鹤 胡晶晶
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 中文信息处理 Web页面 信息提取 页面结构 FFT 区域分割
• 年，卷（期）: 2007,（30）
• 所属期刊栏目: 网络、通信与安全
• 页码范围: 148-151
• 页数: 4页
• 分类号: TP391
• 字数: 5139字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2007.30.046

摘要

主要研究"正文式"网页的有效信息提取算法.该种底层网页真正含有Web页面所表达的主题信息,通常包含一大段的正文信息,正文信息的前后是一些格式信息(例如导航信息、交互信息、JavaScript脚本等).分析了此种网页的页面结构特征,将问题转化为--给定一个底层网页的HTML源文件,求解最佳的正文区间;从而提出了一种基于快速傅立叶变换的网页正文内容提取算法.采用窗口分段的方法,利用统计学原理和FFF,得出每个可能区间的权值,从而求解出最佳正文区间.实验结果表明,此种方法能比较准确的对"正文式"网页的有效信息进行提取.