基于独立分量分析的隐蔽Web领域聚类

• 作者: 温春 王晓斌 石昭祥
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 隐蔽Web 潜在语义 独立分量分析 文本聚类
• 年，卷（期）: 2009,（7）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 175-176,179
• 页数: 3页
• 分类号: TP3
• 字数: 3310字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2009.07.061

摘要

针对隐蔽Web主题领域自动识别问题,提出一种基于独立分量分析(ICA)的聚类算法.对查询页面进行页面文本抽取和预处理,利用TF-IDF公式计算权重并选择前N个权重最大的特征词构造文档矩阵,在使用潜在语义索引(LSI)进行特征重构的基础上通过ICA分解获得类别信息.利用LSI的词共现分析和文本降噪能力提高聚类准确率.实验表明聚类平均准确率达到90%以上.