无菌条件非接触式多通道自然交互手术环境

• 作者: 刘斌 曾琼 杨明浩 汪云海 潘航 王志良 王红迁 王飞 班晓娟 解仑 陈文拯 陶建华 韩志帅
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 手术室 多模态信息融合 意图理解
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 自然人机交互新进展专题
• 页码范围: 2986-3004
• 页数: 19页
• 分类号: TP391
• 字数: 14750字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005785

摘要

无菌和非接触环境是医疗手术室的基本要求,这使得计算机操作室和手术室需要在物理上隔离.同时,因为手术进行中,主治医生如果需要查看病灶图像,通常授意护士或者手术助理到计算机操作室操作病灶图像,由于手术室和计算机操作室间的隔离,以及主治医生和助理间可能存在的意图理解不准确,容易导致护士或者手术助理在手术室和计算机操作室往返多次,这增加了患者手术时间延长、失血增多、脏器暴露时间长等风险,尽量减少手术中定位到病灶图像的时间对于医生和病人都很重要.针对上述需求,借助遮挡环境下的深度图像人体骨架提取、手势跟踪与理解、手术室环境远场语音识别,多模态信息处理与融合技术,构建无菌条件下的非接触式多通道自然交互手术环境.该环境使得主治医生在手术中可通过语音命令、手势及上述交互方式相结合的方式快速定位到需要观察的病灶成像.在接近真实环境的实验环境中,建立的无菌条件的非接触式多通道自然交互手术环境在保证精度的情况下,可显著缩短病灶图像定位时间.无菌环境智能交互医疗手术室为未来下一代高效的手术提供了技术与方法验证.