基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
针对微博数据特点,采用降噪算法和条件随机场模型对微博数据进行词性标注,并对其中比重较大的谐音词使用贝叶斯方法进行词性二次纠正.首先利用新浪平台 API 和爬虫获取原始微博数据,再根据噪音特点人工制定规则进行降噪.由于条件随机场在中文词性标注中特征提取的优势,使用条件随机场模型对降噪后的微博语料词性标注.在此基础上,利用微博语料中谐音词比重较大的特点,将微博词语转化为拼音,根据贝叶斯方法计算得到谐音词的原生词候选,再根据词语的上下文建立谐音词和原生词映射,并利用原生词的词性已知的性质,对谐音词进行词性纠错.实验结果表明,该方法可以较好地标注微博未登录词,词性标注准确率达到95.23%.
推荐文章
基于LDA的条件随机场主题模型研究
潜在的狄利克雷分配(LDA)
条件随机场
主题
基于条件随机场的农业命名实体识别研究
农业命名实体识别
CRF模型
特征选择
基于层叠条件随机场的微博热点话题跟踪
话题跟踪
话题漂移
层叠条件随机场
话题词典
基于条件随机场的英文农产品名识别
农产品
条件随机场
特征选择
命名实体识别
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于条件随机场模型和文本纠错的微博新词词性识别研究
来源期刊 南京大学学报(自然科学版) 学科 工学
关键词 条件随机场 微博 噪音数据 谐音词 词语纠正
年,卷(期) 2016,(2) 所属期刊栏目
研究方向 页码范围 353-360
页数 8页 分类号 TP391
字数 5569字 语种 中文
DOI 10.13232/j.cnki.jnju.2016.02.017
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 万迪昉 西安交通大学管理学院 259 6022 41.0 65.0
2 乔亚男 西安交通大学电子与信息工程学院 11 31 4.0 5.0
3 韩彦昭 西安交通大学电子与信息工程学院 1 6 1.0 1.0
4 范亚平 西安交通大学电子与信息工程学院 1 6 1.0 1.0
5 李孟超 西安交通大学软件学院 1 6 1.0 1.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (50)
共引文献  (124)
参考文献  (9)
节点文献
引证文献  (6)
同被引文献  (25)
二级引证文献  (32)
1990(1)
  • 参考文献(0)
  • 二级参考文献(1)
1995(1)
  • 参考文献(0)
  • 二级参考文献(1)
1997(1)
  • 参考文献(0)
  • 二级参考文献(1)
1999(1)
  • 参考文献(0)
  • 二级参考文献(1)
2000(3)
  • 参考文献(0)
  • 二级参考文献(3)
2001(2)
  • 参考文献(0)
  • 二级参考文献(2)
2003(2)
  • 参考文献(0)
  • 二级参考文献(2)
2004(4)
  • 参考文献(0)
  • 二级参考文献(4)
2005(5)
  • 参考文献(0)
  • 二级参考文献(5)
2006(4)
  • 参考文献(0)
  • 二级参考文献(4)
2007(3)
  • 参考文献(1)
  • 二级参考文献(2)
2009(4)
  • 参考文献(0)
  • 二级参考文献(4)
2010(3)
  • 参考文献(0)
  • 二级参考文献(3)
2011(11)
  • 参考文献(1)
  • 二级参考文献(10)
2012(5)
  • 参考文献(1)
  • 二级参考文献(4)
2013(7)
  • 参考文献(4)
  • 二级参考文献(3)
2014(2)
  • 参考文献(2)
  • 二级参考文献(0)
2016(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
2017(1)
  • 引证文献(1)
  • 二级引证文献(0)
2018(5)
  • 引证文献(3)
  • 二级引证文献(2)
2019(21)
  • 引证文献(2)
  • 二级引证文献(19)
2020(11)
  • 引证文献(0)
  • 二级引证文献(11)
研究主题发展历程
节点文献
条件随机场
微博
噪音数据
谐音词
词语纠正
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
南京大学学报(自然科学版)
双月刊
0469-5097
32-1169/N
江苏省南京市南京大学
chi
出版文献量(篇)
2526
总下载数(次)
6
总被引数(次)
23071
相关基金
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
论文1v1指导