针对现有的邻域回归超分辨率算法仅通过一次方案从低分辨率空间映射到高分辨率空间，不能很好地表示复杂的映射关系，提出了一种两阶段邻域回归的图像超分辨率重建方法。在第一阶段，用传统的邻域回归方法重建初始高分辨率图像，然后把一个正则化项加入超分辨率重建模型中，以提高重建图像的精度。在第二阶段，以增强的方式训练残差字典和残差回归学习，降低映射误差。与别的邻域回归方法不同，采用了四个方向的Sobel算子代替一阶梯度和二阶梯度来提取低分辨率图像特征。实验结果表明，所提出的方法性能优于传统的超分辨率重建方法。