文本预处理后的LDA模型主题发现与技术演进研究

• 作者: 沈湘 王丽
• 来源期刊: 农业图书情报学报
• 学科: 工学
• 关键词: LDA模型 技术演进 文本预处理 可视化 技术词自动识别
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 研究论文
• 页码范围: 19-28
• 页数: 10页
• 分类号: TP393
• 语种: 中文
• DOI: 10.13998/j.cnki.issn1002-1248.2019.03.19-0342

摘要

[目的]在科技情报资源快速增长的环境下,通过大文本数据分析快速发现研究主题,且进一步挖掘各研究主题下的技术发展与变化,对做出全面快速响应的科技情报工作有着重要的意义.[方法]针对大文本数据,利用Python实现了文本预处理后的LDA模型主题发现与技术演进,首先构建文本预处理泛化模型,实现技术词自动识别处理;然后基于技术词进行LDA模型构建及可视化,来识别研究主题;最后基于技术词构建技术演进的计算模型,来进一步挖掘技术的发展与变化.[结果]文章以SiC技术领域43621项专利为分析对象进行了实践,包括文本预处理、主题发现及可视化、某主题下技术发展和变化分析等全流程,处理畅通且用时很短(案例全程历时约10分钟).[局限]文章提出的LDA各主题下技术演进模型中,文档只与其相关度最大的主题关联,尚未对文档多主题关联情况下的演进效果进行对比,后续有待进一步优化验证.[结论]文章提出的方法对快速全面把握一个科技领域有着重要作用,通过主题的识别以及主题之下的技术发展变化,可以以不同的颗粒度去研究一个科技领域,并对后续的调研分析提供有价值的线索.