本文针对复杂背景下红外小目标检测跟踪问题,提出了一种背景自适应的目标检测跟踪方案.针对地面背景下的红外目标检测,采用帧差法,分别提出了跳帧多帧差法和双阈值多帧差法以应对目标长时间静止和灰度对比度下降的问题.针对天空背景下的红外目标检测,采用基于目标区域稳定性和显著性(Regional Stability and Saliency,RSS)的检测算法.在检测得到目标备选点后,使用带标签的高斯混合概率假设密度(Gaussian Mixture Probability Hypothesis Density,GMPHD)滤波器对备选点滤波以输出目标初始轨迹.同时引入轨迹整理将间断的初始轨迹重新连接并进一步去除虚警.经过验证,本文提出的目标检测方法可在复杂多类背景下准确检测并跟踪红外图像中的小目标.