基于大数据技术的AI岗位需求分析研究

• 作者: 徐正丽 文博奚 谢梅英 蔡翔
• 来源期刊: 广西科学
• 关键词: 数据分析 人工智能 网络爬虫 岗位角色 岗位技能 岗位词典
• 年，卷（期）: 2021,（3）
• 所属期刊栏目: 特邀栏目|Special Columns
• 页码范围: 321-329
• 页数: 9页
• 分类号: TP18
• 语种: 中文
• DOI: 10.13656/j.cnki.gxkx.20210830.003

摘要

近年来,我国人才市场出现供需失配的结构性矛盾,尤其是在人工智能(AI)领域.准确感知并描述劳动力市场的需求是解决该问题的重要手段.本研究首先使用网络爬虫抓取智联招聘网站发布的AI岗位相关招聘信息,通过中文分词、K-means等大数据分析方法对招聘岗位名称进行聚类处理,识别出软件工程师、算法工程师、产品经理及产品架构师等4个岗位簇;然后利用概率主题模型(Latent Dirichlet Allocation,LDA)对招聘岗位要求继续进行聚类处理,得到数据库、机器学习、模式识别、大数据、程序设计等5个技能集;最后利用LDA求得岗位簇对其技能集的需求矩阵,以分析各岗位簇对其岗位技能的需求程度.结果表明:程序设计能力对AI软件工程师最重要,模式识别的理论与技术对算法工程师最重要;产品经理岗位对数据库、机器学习和大数据技术等均有较强的技能需求;机器学习的理论与技术对产品架构师最重要.本研究成果可为高校、企业常态化或实时准确感知并描述AI劳动力市场需求提供技术支持.