手势识别在监控系统中的应用越来越广泛.而人手图像的跟踪则是手势识别的前提,也是很重要的步骤.针对目前摄像机的应用,提出了一种新的基于颜色和形状的人手图像跟踪算法.在检测阶段,它采用了基于色度的自适应阈值肤色分割和基于圆形度的人手图像检测方法.实际上这是一种图像分割手段,因为图像分为两部分,一部分为人手区域,另一部分为非人手区域.在跟踪阶段,利用SAD(Sum of Absolute Difference)的变换公式进行匹配, 进而实现跟踪.实验结果表明,这种新的人手图像的跟踪算法简便,跟踪准确度较高,计算复杂度较低,可应用于大多数场景.