基于多属性的海量Web数据关联存储及检索系统

• 作者: 周可 廖正霜 李春花 罗芳 黄永峰
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 分类存储 多条件选择查询 关联映射 辅助索引
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: 高性能计算
• 页码范围: 404-410
• 页数: 7页
• 分类号: TP391.3
• 字数: 5680字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2014.03.005

摘要

传统的Web数据检索一般采用全文检索方法,该方法具有很好的灵活性,但舆情分析往往需要获得相关的网页属性及统计信息.针对传统的Web检索方法无法满足上述需求,基于Hadoop平台设计并实现了一种基于多属性的海量Web数据的关联存储及检索系统,为舆情分析提供基础检索与统计服务.主要实现HDFS上基于属性的网页数据的分类和聚类存储,解决小文件存储同时提高数据访问吞吐量;建立原始网页数据与属性数据之间的关联映射;基于HBase的已有索引机制,结合分布式本地索引机制解决基于HBase的动态属性多条件选择查询的辅助索引问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄永峰	清华大学电子工程系	97	583	13.0	16.0
2	李春花	华中科技大学计算机科学与技术学院	14	392	6.0	14.0
3	罗芳	华中科技大学计算机科学与技术学院	8	63	4.0	7.0
4	周可	华中科技大学计算机科学与技术学院	29	396	7.0	19.0
5	廖正霜	华中科技大学计算机科学与技术学院	1	7	1.0	1.0