基于Web网页语料构建动态语言模型

• 作者: 文茂平 李雪涛 杨鉴
• 来源期刊: 信息技术
• 学科: 工学
• 关键词: 语言模型 语料库 信息提取 动态更新
• 年，卷（期）: 2006,（8）
• 所属期刊栏目: 应用技术
• 页码范围: 17-20
• 页数: 4页
• 分类号: TN912.3
• 字数: 3402字
• 语种: 中文
• DOI: 10.3969/j.issn.1009-2552.2006.08.005

摘要

为语音识别系统构建语言模型,首先要进行语料准备,语料来源决定语言模型的性能.Web网页中涵盖了各种最新的语言现象,为语料准备提供了最多样化的资源.但Web网页中语义完整字串通常夹杂在格式、标记、广告等无用字串中.首先介绍语言模型的训练算法和更新方法,继而提出一种从HTML文档提取用于训练语言模型的语义完整汉字字串的算法,最后给出语料提取实验结果、语言模型训练结果和语言模型的动态更新结果.为基于Web网页语料动态更新语言模型提供了一个完整的解决方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨鉴	云南大学信息学院	43	201	8.0	13.0
2	文茂平	云南大学信息学院	3	3	1.0	1.0
3	李雪涛	云南大学信息学院	3	3	1.0	1.0