基于Spark和改进的TF-IDF算法的用户特征分析

• 作者: 张舒雅 王占刚
• 来源期刊: 软件工程
• 学科: 工学
• 关键词: Spark 用户特征 贝叶斯 分类 TF-IDF
• 年，卷（期）: 2016,（10）
• 所属期刊栏目: 方法与技术
• 页码范围: 9-14
• 页数: 6页
• 分类号: TP391
• 字数: 5791字
• 语种: 中文

摘要

使用朴素贝叶斯分类算法，结合Spark内存计算框架，对用户观看视频及次数信息进行分析，建立用户性别和年龄区间的分类模型；然后利用特征项的权重优化模型，考虑到每个特征项在各个类别中的权重对分类结果的影响，提出了一种基于特征项与类别间相关性的TFC-IDFC权重计算方法，并与传统的TF-IDF权重计算方法进行比较，通过正确率和F1值两个指标，证明考虑到特征项与类别的相关性所提出的TFC-IDFC权重使得分类模型的分类能力更好。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王占刚	天津工业大学计算机科学与软件学院	18	56	4.0	7.0
2	张舒雅	天津工业大学计算机科学与软件学院	1	6	1.0	1.0