针对宽泛条件下不同视域场景多摄像机多目标的匹配跟踪问题,提出了一种基于纯目标的强鲁棒自适应SIFT(Scale Invariant Feature Transform)特征匹配算法.该方法为每个从视频图像中提取出的纯目标设置一个CamShift(Continuously Adaptive Mean Shift)跟踪器,利用自适应尺度空间因子提取目标的细节特征,采用基于BBF(Best Bin First)的双向匹配策略去除误匹配点,当目标的关键点数量太少,无法满足计算三维二次函数精确关键点位置时,构造了自适应尺度Harris角点检测法增补新点.通过对户外车辆、人员等在不同场景下的连续跟踪实验表明,本算法实时性好、自适应能力强,与其他算法相比,匹配耗时少,跟踪精度高.