基于最大熵模型的柬英平行网页获取

• 作者: 严馨 余正涛 刘小惠 潘丽同 莫源源
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 最大熵模型 柬埔寨语-英语 平行网页 平行语料库 余弦相似性
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 194-200
• 页数: 7页
• 分类号: TP18
• 字数: 6247字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2016.05.033

摘要

由于平行网站的异构性和复杂性,如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题.为此,应用最大熵模型,将平行网页的识别问题看作候选网页对的分类问题,对平行网页的获取方法进行改进.利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对.根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别.在特征选取上,提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征,并应用TF-IDF算法与余弦相似性提取文档向量的余弦相似度特征.实验结果表明,所提方法可有效提高双语网站中平行网页的召回率和准确率,所获取平行网页的准确率和召回率分别为98％,94％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	严馨	昆明理工大学信息工程与自动化学院	40	122	5.0	10.0
2	余正涛	昆明理工大学信息工程与自动化学院	122	877	17.0	24.0
3	潘丽同	昆明理工大学信息工程与自动化学院	2	3	1.0	1.0
4	莫源源	上海师范大学语言研究所	2	3	1.0	1.0
13	刘小惠	昆明理工大学信息工程与自动化学院	2	3	1.0	1.0