主题相似度与链接权重相结合的垃圾网页排序检测

• 作者: 朱焱 韦莎
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 垃圾网页检测 链接作弊 排序算法 主题相似度 非信任值传播
• 年，卷（期）: 2016,（3）
• 所属期刊栏目: 人工智能
• 页码范围: 735-739
• 页数: 5页
• 分类号: TP181
• 字数: 5480字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.03.735

摘要

针对因Web中存在由正常网页指向垃圾网页的链接,导致排序算法(Anti-TrustRank等)检测性能降低的问题,提出了一种主题相似度和链接权重相结合,共同调节网页非信任值传播的排序算法,即主题链接非信任排序(TLDR).首先,运用隐含狄利克雷分配(LDA)模型得到所有网页的主题分布,并计算相互链接网页间的主题相似度;其次,根据Web图计算链接权重,并与主题相似度结合,得到主题链接权重矩阵;然后,利用主题链接权重调节非信任值传播,改进Anti-TrustRank和加权非信任值排序(WATR)算法,使网页得到更合理的非信任值;最后,将所有网页的非信任值进行排序,通过划分阔值检测出垃圾网页.在数据集WEBSPAM-UK2007上进行的实验结果表明,与Anti-TrustRank和WATR相比,TLDR的SpamFactor分别提高了45％和23.7％,F1-measure(阈值取600)分别提高了3.4个百分点和0.5个百分点,spam比例(前三个桶)分别提高了15个百分点和10个百分点.因此,主题与链接权重相结合的TLDR算法能有效提高垃圾网页检测性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱焱	西南交通大学信息科学与技术学院	33	248	8.0	14.0
2	韦莎	西南交通大学信息科学与技术学院	1	9	1.0	1.0