基于Hadoop的校园网视频流量访问偏好分析

• 作者: 杨军超 许闻秋 雒江涛
• 来源期刊: 重庆邮电大学学报（自然科学版）
• 学科: 工学
• 关键词: 校园网视频 偏好分析 Hadoop 网络爬虫 深度包检测
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 计算机与自动化
• 页码范围: 897-902
• 页数: 6页
• 分类号: TP391|TN929.5
• 字数: 4937字
• 语种: 中文
• DOI: 10.3979/j.issn.1673-825X.2016.06.024

摘要

针对传统视频用户访问日志的偏好分析方法存在数据客观性差和用户关联分析困难等问题，在传统偏好分析方法的基础上，面向互联网数据原始流量，提出一种基于主流大数据平台技术Hadoop的校园网视频用户访问偏好分析方案。该方案利用网络爬虫和深度包检测技术，对视频访问内容进行精细化识别，进而研究了校园网视频流量的访问偏好，并对比了MySQL和Hive的查询效率。结果表明，文化层次的差异导致了视频用户群体的不同需求，低成本硬件环境下对大数据的处理Hive更显健壮性。另外，该方案能稳定可靠地实现对校园网视频流量访问的偏好分析，捕捉用户网络舆情，制订定向营销方案并提供个性化视频推荐服务。经现网测试验证，设计的视频访问偏好分析方案达到了预期的效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	雒江涛	重庆邮电大学电子信息与网络工程研究院	84	418	11.0	17.0
2	许闻秋	重庆邮电大学电子信息与网络工程研究院	3	6	2.0	2.0
3	杨军超	重庆邮电大学电子信息与网络工程研究院	4	69	3.0	4.0