基于多模态信息的机器人视觉识别与定位研究

• 作者: 梁丹 梁冬泰 邢淑敏 魏玉锋
• 来源期刊: 光电工程
• 学科: 工学
• 关键词: 二维图像 点云图像 多模态 特征识别与定位 机器人
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 科研论文
• 页码范围: 68-79
• 页数: 12页
• 分类号: TP391.4
• 字数: 5042字
• 语种: 中文
• DOI: 10.12086/oee.2018.170650

摘要

针对目前物体识别定位算法中,图像信息来源单一、处理过程复杂与定位误差大等问题,提出一种基于多模态信息的视觉识别与定位方法,通过提取二维图像和点云图像的多模态信息,实现对物体的识别与定位.先利用彩色相机获取目标的二维图像信息,通过轮廓检测与匹配处理进行轮廓识别,再提取图像SIFT特征进行定位跟踪,得到物体的位置信息;同时采用RGB-D相机获取目标的三维点云图像信息,经过预处理、欧式聚类分割、VFH特征计算、KD树搜索得到最佳模板,进行点云图像的识别,并经点云聚类配准获得物体方向信息.最后,利用上述二维图像和点云图像处理所得物体信息,完成对目标的识别与定位.通过机器臂抓取实验对本文方法的效果进行了验证,结果表明,采用二维图像和点云图像的多模态信息进行处理,能够有效对不同形状的目标物体进行识别与定位,与仅采用二维或点云单模态图像信息的处理方法相比,定位误差可减小54.8%,方向误差减少50.8%,具有较好的鲁棒性和准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	梁冬泰	宁波大学机械工程与力学学院	22	42	5.0	5.0
2	梁丹	宁波大学机械工程与力学学院	12	17	2.0	3.0
3	魏玉锋	宁波大学机械工程与力学学院	2	7	2.0	2.0
4	邢淑敏	宁波大学机械工程与力学学院	2	7	2.0	2.0