基于聚类的语料库分词评价方法研究

• 作者: 宋礼鹏 郑家恒
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 分层抽样 相似性因子 样本聚类 评价函数
• 年，卷（期）: 2004,（2）
• 所属期刊栏目: 研究论文与技术报告
• 页码范围: 192-196
• 页数: 5页
• 分类号: TP18
• 字数: 4468字
• 语种: 中文
• DOI: 10.3321/j.issn:0254-4164.2004.02.006

摘要

对大规模汉语文本语料库分词正确率的评价提出了新的见解,即在分层抽样基础上对文本样本进行聚类.通过聚类可提高检验精度或减少样本量.该方法采用了一种新的样本相似性度量公式,该公式综合考虑了样本向量间的距离和样本向量各分量之间的线性相关性.通过对聚类结果的动态评价,调整聚类的类别数和相似性因子,提高了聚类的效率和质量.实验表明该方法在评价大规模语料库分词正确率时取得了很好的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑家恒	山西大学计算机科学系	58	1189	16.0	33.0
2	宋礼鹏	山西大学计算机科学系	2	15	1.0	2.0