基于字频分布的中文网页编码识别算法

• 作者: 侯整风 张娜 张浩
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 中文编码 网页过滤 高频字符 模式匹配 有限状态自动机
• 年，卷（期）: 2014,（12）
• 所属期刊栏目: 人工智能及识别技术
• 页码范围: 199-204
• 页数: 6页
• 分类号: TP18
• 字数: 5395字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2014.12.037

摘要

编码识别是网页内容过滤的必要前提，多种中文编码共存给中文网页的内容过滤带来不便。针对上述问题，提出一种基于字频分布的中文网页编码识别算法。根据汉字的使用频率，选取使用频度较高的字符构成高频字符编码表，以高频字符编码作为关键字，使用改进的模式匹配算法查找待识别网页，并统计匹配次数。将编码的匹配结果作为分析的依据，最终判定待识别网页的真实码制。实验结果证明，与Unigram算法相比，该算法对目前通用的中文编码识别率较高，适合对未知编码的中文网页进行快速编码识别。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	侯整风	合肥工业大学计算机与信息学院	136	717	11.0	20.0
2	张浩	合肥工业大学计算机与信息学院	52	309	9.0	16.0
3	张娜		2	4	1.0	2.0