建筑高度信息对于理解城市发展进程至关重要。高分辨率的光学卫星影像可以提供城市区域内精细的空间细节，然而它们尚未被应用于多个城市的建筑高度估算。同时，在精细尺度（<5米）上估计建筑高度的可行性仍未得到充分研究。利用建筑物对不同视角的不一致响应（如光谱和结构变化），多视角卫星影像能够提供建筑物的垂直信息，但它们尚未被用于基于深度学习的建筑物高度估计。于是，我们引入了高分辨率的ZY-3多视角影像来估计2.5米空间尺度上的建筑高度。我们提出了一个多光谱、多视角和多任务的深度学习网络（称为M3Net）来预测建筑高度，该网络在多任务学习框架下融合了ZY-3多光谱和多视角影像。我们也比较了基于多源特征的随机森林（RF）方法。我们选择了42个具有不同建筑类型的中国城市进行实验。结果表明，M3Net取得了比RF低的均方根误差（RMSE），并且ZY-3多视角影像的加入可以显著降低建筑高度预测的不确定性。与现有的两个先进的研究相比，我们进一步证实了本研究方法的优越性，特别是M3Net能够缓解高层建筑高度估计的饱和效应。与普通的单任务/多任务模型相比，M3Net也取得了较低的RMSE。此外，空间-时间迁移性实验表明，M3Net对成像条件和建筑风格具有一定的鲁棒性。我们在一个相对较大的区域（覆盖约14,120平方公里）测试了M3Net，从效率和精度两方面验证了该方法具有较好的扩展性。源代码即将发布在网址https://github.com/lauraset/BuildingHeightModel。

图1 M3Net的网络结构。(a) 多视角分支；(b) 多光谱分支。

图2 建筑高度预测结果示例。

图3 深圳市的建筑高度预测结果。

论文相关链接：Cao, Y., Huang, X., 2021. A deep learning method for building height estimation using high-resolution multi-view imagery over urban areas: A case study of 42 Chinese cities. Remote Sens. Environ. 264, 112590. https://doi.org/https://doi.org/10.1016/j.rse.2021.112590