基于插件的文本抽取系统的设计与实现

• 作者: 凌青 吴刚 戴上静 石春 苏宇
• 来源期刊: 电子技术
• 关键词: 文本抽取 多格式 插件 文件类型识别 编码转换 多进程 任务分配算法
• 年，卷（期）: 2014,（8）
• 所属期刊栏目: 电子技术设计与应用
• 页码范围: 32-36
• 页数: 5页
• 字数: 3910字
• 语种: 中文

摘要

为了使全文检索系统支持多种文件格式的检索，必须先对待检索的文件进行文本抽取以转化为便于建立索引的纯文本。针对多格式的文本抽取问题，文章设计了一种基于插件的支持多格式的文本抽取系统，该系统采用文件后缀名和魔数(magic number)结合的方式自动识别文件类型，以统一接口调用已存在的针对单一类型文件的抽取插件，对得到的纯文本进行编码转换以使得最终的输出编码统一，系统还针对目录输入设计了多进程并行优化以利用CPU多核优势，使用贪心算法优化任务分配以使总运行时间尽可能短。该系统易于扩展，编程接口简单。实验结果表明，该系统能正常抽取文本内容和元数据，且其抽取效率高于Apache的Tika等开源文本抽取系统。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴刚	中国科学技术大学自动化系	217	3774	29.0	54.0
2	凌青	中国科学技术大学自动化系	18	108	7.0	9.0
3	苏宇	中国科学技术大学自动化系	14	116	5.0	10.0
4	石春	中国科学技术大学自动化系	44	296	9.0	15.0
5	戴上静	中国科学技术大学自动化系	3	18	2.0	3.0