基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
编码识别是网页内容过滤的必要前提,多种中文编码共存给中文网页的内容过滤带来不便。针对上述问题,提出一种基于字频分布的中文网页编码识别算法。根据汉字的使用频率,选取使用频度较高的字符构成高频字符编码表,以高频字符编码作为关键字,使用改进的模式匹配算法查找待识别网页,并统计匹配次数。将编码的匹配结果作为分析的依据,最终判定待识别网页的真实码制。实验结果证明,与Unigram算法相比,该算法对目前通用的中文编码识别率较高,适合对未知编码的中文网页进行快速编码识别。
推荐文章
基于CFS-GA特征选择算法的中文网页自动分类
中文网页分类
特征选择
基于关联的特征选择算法
遗传算法
基于内容的中文网页自动分类研究
自动分类
信息检索
全球网
中文网页分布式并行索引的设计与实现
分布式并行索引
倒排索引
正向最大匹配法
基于语义关联的中文网页主题词提取方法研究
语义关联
中文网页
主题词
权重
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 基于字频分布的中文网页编码识别算法
来源期刊 计算机工程 学科 工学
关键词 中文编码 网页过滤 高频字符 模式匹配 有限状态自动机
年,卷(期) 2014,(12) 所属期刊栏目 人工智能及识别技术
研究方向 页码范围 199-204
页数 6页 分类号 TP18
字数 5395字 语种 中文
DOI 10.3969/j.issn.1000-3428.2014.12.037
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 侯整风 合肥工业大学计算机与信息学院 136 717 11.0 20.0
2 张浩 合肥工业大学计算机与信息学院 52 309 9.0 16.0
3 张娜 2 4 1.0 2.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (7)
共引文献  (17)
参考文献  (5)
节点文献
引证文献  (4)
同被引文献  (15)
二级引证文献  (9)
1975(2)
  • 参考文献(1)
  • 二级参考文献(1)
1977(2)
  • 参考文献(0)
  • 二级参考文献(2)
1990(1)
  • 参考文献(0)
  • 二级参考文献(1)
1993(1)
  • 参考文献(0)
  • 二级参考文献(1)
2000(1)
  • 参考文献(0)
  • 二级参考文献(1)
2002(2)
  • 参考文献(1)
  • 二级参考文献(1)
2004(2)
  • 参考文献(2)
  • 二级参考文献(0)
2013(1)
  • 参考文献(1)
  • 二级参考文献(0)
2014(1)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(1)
  • 二级引证文献(0)
2014(1)
  • 引证文献(1)
  • 二级引证文献(0)
2016(1)
  • 引证文献(1)
  • 二级引证文献(0)
2017(3)
  • 引证文献(2)
  • 二级引证文献(1)
2018(3)
  • 引证文献(0)
  • 二级引证文献(3)
2019(2)
  • 引证文献(0)
  • 二级引证文献(2)
2020(3)
  • 引证文献(0)
  • 二级引证文献(3)
研究主题发展历程
节点文献
中文编码
网页过滤
高频字符
模式匹配
有限状态自动机
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机工程
月刊
1000-3428
31-1289/TP
大16开
上海市桂林路418号
4-310
1975
chi
出版文献量(篇)
31987
总下载数(次)
53
总被引数(次)
317027
论文1v1指导