汉语语体的计量特征在文本聚类中的应用

• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本聚类 语体特征 语言结构 汉语口语 汉语书面语
• 年，卷（期）: 2009,（29）
• 所属期刊栏目: 博士论坛
• 页码范围: 25-27,33
• 页数: 4页
• 分类号: TP391.1
• 字数: 3740字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.2009.29.007

摘要

提出了将语言计量研究成果应用于文本聚类研究的方法.通过两个50万词的语料样本发现了在现代汉语口语体和书面语体中具有显著分布差异的16个语言结构特征;以其中7个作为文本表示特征准确地将实验文本聚类为口语体(相似度89.84%)和书面语体(相似度86.93%)两类.以语言结构的计量特征表示文本的方法加强了聚类/分类研究的可解释性,具有较高的理论和应用价值.以语料库和统计方法进行语体特征计量研究是汉语语体描写研究的重要方法,阐述了其理论基础.