随着大数据和硬件的快速发展,细粒度分类任务应运而生,其目的是对粗粒度的大类别进行子类分类.为利用类间细微差异,提出基于RPN(Region Proposal Network)与B-CNN(Bilinear CNN)的细粒度图像分类算法.利用OHEM(Online Hard Example Mine)筛选出对识别结果影响大的图像,防止过拟合;将筛选后的图像输入到由soft-nms(Soft Non Maximum Suppression)改进的RPN网络中,得到对象级标注的图像,同时减少假阴性概率;将带有对象级标注信息的图像输入到改进后的B-CNN中,改进后的B-CNN可以融合不同层特征并加强空间联系.实验结果表明,在CUB200-2011和Standford Dogs数据集平均识别精度分别达到85.50%和90.10%.