融合规则与统计的微博新词发现方法

• 作者: 周霜霜 张玉洁 徐金安 陈钰枫
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 微博新词 构词规则 统计量特征 C/NC-value方法 条件随机场模型
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 人工智能
• 页码范围: 1044-1050
• 页数: 7页
• 分类号: TP391.1
• 字数: 9928字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.04.1044

摘要

结合微博新词的构词规则自由度大和极其复杂的特点,针对传统的C/NC-value方法抽取的结果新词边界的识别准确率不高,以及低频微博新词无法正确识别的问题,提出了一种融合人工启发式规则、C/NC-value改进算法和条件随机场(CRF)模型的微博新词抽取方法.一方面,人工启发式规则是指对微博新词的分类和归纳总结,并从微博新词构词的词性(POS)、字符类别和表意符号等角度设计的微博新词的构词规则;另一方面,改进的C/NC-value方法通过引入词频、邻接熵和互信息等统计量来重构NC-value目标函数,并使用CRF模型训练和识别新词,最终达到提高新词边界识别准确率和低频新词识别精度的目的.实验结果显示,与传统方法相比,所提出的方法能有效地提高微博新词识别的F值.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐金安	北京交通大学计算机与信息技术学院	35	194	10.0	13.0
2	张玉洁	北京交通大学计算机与信息技术学院	34	208	9.0	13.0
3	陈钰枫	北京交通大学计算机与信息技术学院	22	54	3.0	6.0
4	周霜霜	北京交通大学计算机与信息技术学院	1	13	1.0	1.0