为提高基于图像特征点的面部表情识别算法精度，解决深度卷积神经网络体积过大、参数过多而导致运行缓慢等问题，提出了一种基于残差学习的卷积神经网络算法。该算法将深度可分离卷积和对特征提取进行解耦，使用全局平均池化代替全连接层，从而进一步减少参数，并将改进轻量化模型最终架构权重存储在855 kB的文件中。最后，对改进的网络模型在 FER2013 数据集中进行评估。测试结果表明，改进轻量化模型的识别准确率为 68%，有效解决了原有算法匹配精度低的问题。