视角无关的人体行为识别是计算机视觉领域研究的热点和难点之一.现有的视角无关的行为识别算法的识别率随着角度的改变差异很大,尤其与俯角相关的识别效果还不够理想.提出了一种基于双语动态系统包的视角无关的人体行为识别方法.首先结合兴趣点检测器和密集采样算法提取视频帧中的时空立方体并对每个时空立方体建立线性动态系统(LDS);其次对LDSs进行非线性降维聚类形成码本,并根据LDSs在码本中的分布及权重用一个动态系统包(bag of dynamical systems)来表示每个动作样本;最后同时对两个视角下的BoDS采用K-奇异值分解(K-SVD)算法得到一对可迁移字典对,然后根据这对字典对采用正交匹配追踪(OMP)算法得到两个视角下每个动作的稀疏表示.在IXMAS多视角数据库的实验结果表明了文中算法的稳定性和有效性.