基于WordSmith软件的平行语料库加工处理系统设计

• 作者: 李宁
• 来源期刊: 自动化与仪器仪表
• 关键词: wordSwith 平行语料库 加工处理 系统设计 对齐处理
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 设计与制造|DESIGN AND MANUFACTURE
• 页码范围: 131-134
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.14016/j.cnki.1001-9227.2021.02.131

摘要

平行语料库加工处理过程中,传统的系统很难将当前字的标记与其它序列字符的同现特征统计出来,导致切分错误情况频频发生.为此,设计基于WordSmith软件的平行语料库加工处理系统.在硬件设计上,使用S3C6410处理器实现文本分析功能,生成标注文件,用于后续加工处理;在软件设计上,使用WordSmith软件提取出语料库中的词表,并进行削尾处理,使用6字标注集实现语料的分词处理,处理完成后,根据计算的词语相似度实现语料对齐处理.至此,系统设计完成.实验结果表明:设计的基于WordSmith软件的平行语料库加工处理系统在分词实验中没有出现切分异常的情况,并且在兼类词消歧实验中,召回率为95.6,K值为97.2,均高于传统的加工处理系统.