针对卷积神经网络在遥感影像分类时遇到的模型参数量过大和分类精度低等问题，在DeeplabV3+网络的基础上，将编码器中的深层特征提取器替换为轻量化网络MobilenetV2和Xception＿65，将解码器结构改为逐层特征融合实现解码区上采样的细化，引入通道注意力模块加强编解码器之间的信息关联，引入多尺度监督实现感受野自适应。构建4种具有不同编解码结构的网络，在CCF数据集上对网络进行验证测试。实验结果表明，编码器采用Xception＿65，解码器同时引入逐层连接、通道注意力模块和多尺度监督的MS-XDeeplabV3+网络在减少模型参数量、加快模型训练速度的同时能更细化地物的边缘信息，提高对道路、水体等线状地物和草地的分类精度，像素总体精度和Kappa系数分别达0.9122和0.8646，在遥感影像分类中效果最佳。