多源异构数据的城市功能区提取统一深度学习框架

本文提出了一个基于多源异构数据的城市功能区（UFZ）提取的统一深度学习框架，该框架利用遥感影像（RSI）和兴趣点（POI）数据。通过结合两种数据的互补优势，框架克服了现有方法的局限性。主要包括两个模块：互补特征学习与融合模块，使用两个耦合的卷积神经网络，分别从RSI学习视觉特征和从POI学习社会特征，引入了一种将离散POI转换为层次化距离热图的方法，通过带有注意力机制的CNN处理，以捕捉特定城市功能区内POI的共现关系，并通过基于特征注意力的策略融合这些学习到的特征；城市功能区空间关系建模模块，超越单一城市功能区分析，建模城市功能区之间的局部和长距离空间关系。具体来说，文章回答了以下研究问题：

（1）如何克服当前城市功能区提取方法存在的局限性？ 

（2）如何实现遥感影像和兴趣点数据的有效融合？

（3）如何考虑城市功能区之间的空间关系以提高分类精度？

（4）如何评估本文所提出的统一深度学习框架的有效性？

文章摘要

遥感影像和兴趣点是城市功能区提取的两个互补数据。然而，当前的方法仅使用单个数据或只是简单地融合从这两个数据中提取的特征，这可能无法充分利用它们的互补优势。为了解决这个问题，在本文中，研究提出了一个统一的深度学习框架，包含两个模块，联合使用遥感图像和兴趣点进行城市功能区提取。在第一个模块中，互补特征学习和融合模块，两个耦合的卷积神经网络（CNN）分别用于学习来自 RSI 的视觉特征和来自POI的社交特征。具体来说，为了将CNN应用于离散 POI，研究将它们转换为分层距离热图，并利用CNN 和注意力机制来提取特定城市功能区中POI的共现关系以进行社交特征表示。然后，研究通过基于特征注意力的融合策略将这两个耦合的CNN集成在一起，以端到端的方式将从遥感图像和兴趣点数据中学到的互补特征与自适应学习权重融合起来。在第二个模块，空间关系建模模块中，与以前仅考虑单个城市功能区中的特征的方法不同，研究设计了一个空间关系学习网络，它可以聚合局部和远程城市功能区之间的空间关系以进行城市功能区分类。在三个城市地区的实验表明，所提出的框架可以充分利用从遥感图像和兴趣点中学习到的视觉、社会和空间特征，从而比使用单一数据或简单融合策略的方法获得更令人满意的结果。

研究结果

互补特征学习与融合的创新

文章建立了统一的深度学习框架，联合使用RSI和POI进行城市功能区提取（图1）。该框架由两部分组成：互补特征学习和融合部分以及空间关系建模部分。在第一部分中，两个耦合的CNN分别用于学习 RSI 的视觉特征和 POI 的社交特征。具体来说，为了在离散 POI上应用深度学习方法来识别 城市功能区和 POI 之间的隐含关系，文章将POI栅格化为分层的距离热图（图2），然后使用具有层注意机制的CNN来提取 城市功能区和POI之间的共现关系兴趣点。之后，通过特征注意融合策略集成这两个耦合的CNN，以实现视觉和社交特征融合。在第二部分中，设计了一个空间关系学习网络，该网络聚合局部和远程城市功能区之间的空间关系，以实现更准确的城市功能区分类。

通过消融实验分析框架中各模块的贡献

设计消融实验，其中每两个相邻的实验形成一组对照实验。使用RSI和POI（实验2）比单独使用RSI（实验1）具有更好的结果，因为Kappa高出0.0909。通过结合LWM来提取特定城市功能区中POI的共存（实验3），Kappa值可以从0.8172进一步提高到0.8238。此外，空间关系模型对城市功能区分类的贡献在实验中进行了测试4至7。当仅考虑局部或远程关系时，Kappa分别从0.8328（实验4）提高到0.8536（实验5）或0.8527（实验6）。通过联合使用本地和远程关系，Kappa进一步提高到0.8592（实验7）。通过消融实验表明，文章所提出的框架中使用的所有策略都有助于提高城市功能区提取精度，而POI的贡献最为显著。因此，接下来重点讨论使用POI对城市功能区分类的影响，包括POI如何对城市功能区分类做出贡献，以及RSI和POI在城市功能区分类中的协同机制。

研究区域内POI种类繁多，POI与城市功能区之间的关系较为复杂。为了弄清楚哪种POI对于城市功能区提取更重要，通过每次删除一种类型的POI来重复城市功能区分类实验，发现了两个现象。首先，各种POI都有助于城市功能区分类。无论哪种类型的POI降低，Kappa都会下降。这一结果再次证实了引入POI对于城市功能区分类的重要性。其次，贡献POI是由城市功能区和POI之间的语义关系决定的，而不是由它们的数量决定的。尽管城市功能区类别和POI类别之间的关系不是一对一或一对多的关系，但某些类型的POI与特定类型的城市功能区有很强的关系，例如住宅POI与住宅区、机构POI与机构区。降低这两种POI会导致Kappa分别降低3.25%和2.53%。然而，各类城市功能区中分布的零售、酒店、超市等POI并不代表某一类城市功能区。因此，删除这些POI会导致较小的准确度下降。另外，通过引入POI数据，可以大大降低标注训练数据的成本。

遥感影像和兴趣点在城市功能区分类的协同机制

RSI的视觉特征和POI的社交特征的区分能力对于不同类型的城市功能区是不同的。例如，视觉特征对于识别水、交通等更具辨别力，而社会特征对于识别商业区和工业区等区域更具辨别力。

为了研究RSI和POI在城市功能区识别中的协同机制，文章计算了在所提出的框架中学习的每个城市功能区的社交权重w的频率，并在图3中绘制了每个城市功能区类别的直方图。文章测量了视觉和社交的重要性w值的特征。当w大于0.5时，社交属性更重要，当w小于0.5时，视觉属性更重要。文章从图3中观察到反映协同机制的两个现象。首先，商业区、工业区和机构区的w普遍大于0.5，这意味着社会特征对于识别这些城市功能区更具区分力。而且大多数建筑物和水体的w都小于0.5，这意味着视觉特征在确定这些城市功能区时更为重要。因此，对于大多数类型的城市功能区进行分类，协同机制表现为以RSI或POI中的一个特征作为主要特征，另一个作为辅助特征。其次，开放空间、居住区和交通的w峰值在0.5左右，这些区域的w分布范围比其他类别大。这意味着即使对于相同的城市功能区类，视觉和社交特征的融合权重也是不同的，因此需要更灵活的融合策略来充分利用这些互补特征。在图4（a）中，广阔的草地提供了强烈的视觉信号，表明该区域属于开放空间。在图4（b）中，仅通过RSI很难确定网球场属于机构区、居住区还是开放空间。此外，由于POI的标签质量不可控，图4(a)中的开放空间中没有POI，相邻的POI无法提供正确的城市功能区分类信息。所提出的框架为图4（a）赋予了视觉特征更大的权重，为图4（b）赋予了社交特征更大的权重，并得到了正确的分类结果。上述两种现象表明，协同机制是一种基于RSI和POI的互补确认对城市功能区类别的判别能力的动态自适应融合，并且实验表明文章的框架可以捕获这种机制以获得更好的城市功能区分类结果。

讨论

总的来说，在本研究中，文章提出了一个用于城市功能区分类的统一深度学习框架，该框架可以充分利用从POI和RSI中学习到的社交、视觉和空间特征。对三个不同国家城市的实验表明，该方法相对于单独使用RSI或采用简单融合策略的多数据的传统方法具有优势。

此外，文章研究了POI如何有助于城市功能区分类、RSI和POI之间对城市功能区分类的协同机制以及使用不同映射单元对城市功能区映射的影响。文章的研究为利用异质数据进行更准确的城市功能区分类提供了参考。可以开展进一步的工作来检验将拟议工作应用于国家级城市功能区测绘的可能性，并设计一个灵活的框架来生成自适应测绘单元，以确保分类的城市功能区边界与实际情况完美匹配。