针对机械故障振动信号的非线性与非平稳特征,提出一种基于复数微分算子的最优化分解(Optimization Decomposition Based on Complex Differential Operators,CDOOD)方法.该方法通过优化滤波器的参数将非线性信号分解,以得到的非线性信号分解余量能量最小为优化目标,在优化过程中运用复数微分算子约束得到多个内禀窄带分量(Intrinsic Narrow-Band Components,简称INBC).将CDOOD方法应用于仿真信号和机械复合故障信号分析,并与自适应最稀疏时频分析(Adaptive Sparsest Time Frequency Analysis,简称ASTFA)方法和经验模态分解(Empirical Mode Decomposition,简称EMD)方法进行对比.结果表明,CDOOD能够有效抑制端点效应和模态混淆,并且在提高分量准确性和正交性等方面具有一定优势,同时可以有效应用于旋转机械复合故障的诊断.