Postgresql数据库集群在主题网络爬虫的应用

• 作者: 刘淑梅 夏亮 许南山
• 来源期刊: 计算机系统应用
• 学科: 工学
• 关键词: 网络爬虫 搜索引擎 主题相关 遗传 抓取
• 年，卷（期）: 2010,（12）
• 页码范围: 160-163
• 分类号: TP3
• 字数: 2474字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3254.2010.12.033

摘要

根据网络信息量大的特点,以及主题网络爬虫效率上的要求,将postgresql数据库集群技术运用在主题网络爬虫当中,解决了爬虫对大信息量的存储,并采用缓存技术解决了集群技术在爬虫应用中的效率瓶颈.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许南山	北京化工大学信息研究院	58	358	10.0	16.0
2	刘淑梅	北京化工大学信息研究院	11	65	4.0	8.0
3	夏亮	北京化工大学信息研究院	2	41	1.0	2.0