基于LSTM的眼动行为识别及人机交互应用

• 作者: 贺辉 黄君浩
• 来源期刊: 计算机系统应用
• 关键词: 眼动识别 LSTM 瞳孔定位 人机交互
• 年，卷（期）: 2020,（3）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 206-212
• 页数: 7页
• 字数: 4893字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.007388

摘要

眼动交互在人机交互领域中有着广泛的应用前景,针对传统的眼动交互传感设备具有普遍侵入性,校准过程复杂且价格昂贵,普通单目摄像头传感器分辨率低等问题.提出一种基于前置摄像头视频源,使用方向梯度直方图(HOG)特征+SVM+LSTM神经网络的眼动行为识别方法,进而实现了简单的人机交互应用.该方法首先定位和跟踪人脸,在人脸对齐操作后依据4个眼角关键点的坐标获取双眼区域,使用SVM模型判断眼睛的睁闭眼及非眨眼状态,再分析相邻帧之间眼球中心的位置粗略判断眼动情况,将可疑的有意眼势帧间差分视频序列输入到LSTM网络中进行预测,输出眼动行为识别结果,进而触发计算机命令完成交互.经过自制数据样本集20000个样本(其中约10％为负样本)测试,本文方法动态眨眼识别准确率优于95％,眼动行为预测准确率为99.3％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	贺辉	北京师范大学珠海分校信息技术学院	19	76	5.0	8.0
2	黄君浩	北京师范大学珠海分校信息技术学院	1	0	0.0	0.0