使用概念基元特征进行自动文本分类

• 作者: 贾宁
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 文本分类 HNC 特征
• 年，卷（期）: 2007,（1）
• 所属期刊栏目: 博士论坛
• 页码范围: 24-26
• 页数: 3页
• 分类号: TP391
• 字数: 4250字
• 语种: 中文
• DOI: 10.3321/j.issn:1002-8331.2007.01.008

摘要

自动文本分类技术是大规模文档数据处理的关键技术,在文本分类过程中通常先进行文本表示,即把文本转化为特征向量,这其中常用的特征有特征词、词频、N-gram等等.论文研究了一种新的特征,即词语的HNC概念符号.词语的HNC概念符号来自于HNC(概念层次网络,Hierarchical Network of Concepts)建立的语义网络,以符号表达式的方式表示了词语的语义信息.因此使用HNC概念符号作为特征实际上是以文本中蕴含的语义信息作为特征,和词频等使用文本表层信息的特征有本质的不同.采用最大熵模型的方法建立分类器,以分词和HNC概念符号作为特征进行了研究,并对分类结果进行了比较.结果表明,HNC特征优于分词特征.