论文降重
免费查重- 钛学术文献服务平台 \
- 学术期刊 \
- 工业技术期刊 \
- 自动化技术与计算机技术期刊 \
- 微电子学与计算机期刊 \
基于特征串的网页文本并行去重算法
基于特征串的网页文本并行去重算法
原文服务方：
微电子学与计算机
摘要：
针对海量网页文本去重效率不高问题，提出了一种高效的并行网页去重算法。该算法利用 Hadoop框架的Map／Reduce机制，通过对网页文本提取特征串，使用Google的Simhash算法对提取的特征串进行哈希映射得到相应的哈希码，然后对产生的哈希码进行海明距离比较，从而得到重复的网页数据。实验表明，与相关去重算法相比，所提算法有效地提高了文本去重计算效率。
推荐文章
基于特征码的网页去重
网页去重
网页特征码
二叉排序树
基于N-Gram的文本去重方法研究
文本去重
文本特征
特征映射
中文信息处理
基于正文结构和长句提取的网页去重算法
网页去重
正文结构树
长句提取
层次指纹
基于文本分类的网页排序算法
网页排序算法
网页类型
网页年龄
网页点击率
内容分析
关键词云
关键词热度
相关文献总数
(/次)
(/年)
版权信息
全文
- 全文.pdf
引文网络
引文网络
二级参考文献 (2)
共引文献 (34)
参考文献 (5)
节点文献
引证文献 (4)
同被引文献 (2)
二级引证文献 (4)
1999(1)
- 参考文献（0）
- 二级参考文献（1）
2002(1)
- 参考文献（0）
- 二级参考文献（1）
2003(1)
- 参考文献（1）
- 二级参考文献（0）
2008(1)
- 参考文献（1）
- 二级参考文献（0）
2011(1)
- 参考文献（1）
- 二级参考文献（0）
2012(1)
- 参考文献（1）
- 二级参考文献（0）
2013(1)
- 参考文献（1）
- 二级参考文献（0）
2015(0)
- 参考文献(0)
- 二级参考文献(0)
- 引证文献(0)
- 二级引证文献(0)
2016(3)
- 引证文献（2）
- 二级引证文献（1）
2017(2)
- 引证文献（0）
- 二级引证文献（2）
2018(2)
- 引证文献（1）
- 二级引证文献（1）
2019(1)
- 引证文献（1）
- 二级引证文献（0）
研究主题发展历程
节点文献
搜索引擎
特征串
网页去重
Simhash
Map/Reduce
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
微电子学与计算机
主办单位：
中国航天科技集团公司第九研究院第七七一研究所
出版周期：
月刊
ISSN：
1000-7180
CN：
61-1123/TN
开本：
大16开
出版地：
邮发代号：
创刊时间：
1972-01-01
语种：
chi
出版文献量（篇）
9826
总下载数（次）
0
期刊文献
相关文献
推荐文献
- 期刊分类
- 期刊（年）
- 期刊（期）
- 期刊推荐
一般工业技术
交通运输
军事科技
冶金工业
动力工程
化学工业
原子能技术
大学学报
建筑科学
无线电电子学与电信技术
机械与仪表工业
水利工程
环境科学与安全科学
电工技术
石油与天然气工业
矿业工程
自动化技术与计算机技术
航空航天
轻工业与手工业
金属学与金属工艺
微电子学与计算机2023
微电子学与计算机2000
微电子学与计算机2001
微电子学与计算机2002
微电子学与计算机2003
微电子学与计算机2004
微电子学与计算机2005
微电子学与计算机2006
微电子学与计算机2007
微电子学与计算机2008
微电子学与计算机2009
微电子学与计算机2010
微电子学与计算机2011
微电子学与计算机2012
微电子学与计算机2013
微电子学与计算机2014
微电子学与计算机2015
微电子学与计算机2016
微电子学与计算机2017
微电子学与计算机2018
微电子学与计算机2019
微电子学与计算机2020
微电子学与计算机2022
微电子学与计算机2015年第1期
微电子学与计算机2015年第6期
微电子学与计算机2015年第2期
微电子学与计算机2015年第4期
微电子学与计算机2015年第7期
微电子学与计算机2015年第10期
微电子学与计算机2015年第12期
微电子学与计算机2015年第8期
微电子学与计算机2015年第9期
微电子学与计算机2015年第3期
微电子学与计算机2015年第11期
微电子学与计算机2015年第5期
