利用卷积神经网络（CNN）和卫星图像数据预测区域收入水平的方法越来越广泛，一些程序正在尝试逐步商业化推向市场。但由于CNN的“黑匣子”性质，大多数模型无法解释其预测背后的过程。最近一项使用热图Grad-CAM可视化神经网络的研究进一步探索了这些预测背后的逻辑，引发了对这些模型可靠性的质疑——是否在预测过程中使用了相似的特征，以及这些特征与收入水平的相关性。近年来，无论是劳动力迁移，还是教育、住房等资源配置，都离不开城镇化进程背后的思考。不断加快的城镇化进程无疑对城市的社会经济环境产生了深远的影响。如何量化呢？地面监测分析过程已成为城市规划和城市环境研究领域的重要课题。日益先进的遥感和卫星技术为特定区域的地理数据观测和城市化研究铺平了道路。通过在人造卫星、飞行器或其他飞行器上采集地面物体的电磁辐射信息，可以识别该区域的地理环境和资源分布。例如，城市人口密度和道路建设采集、人口经济特征测量等。随着多源、高精度遥感数据量的激增，传统的人工解译和半自动软件解译的方法已经妥协他们的效率和准确性。人工智能与高分辨率遥感的运用可以说是天作之合。基于机器学习算法擅长解决海量数据分析问题的特点，可以大大缩短遥感影像解译周期，提高解译精度。事实上，利用卷积神经网络（CNN）和卫星图像数据来预测地区收入水平的方法已经越来越普遍，一些解决方案正试图逐步商业化推向市场。例如，在缺乏可靠的经济民生数据的发展中国家，根据高分辨率卫星图像估算消费者支出和财产财富无疑是一种准确、廉价和可扩展的选择，这将对地方政府的政策和规划决策产生重要影响。参考。“此类方案的基本思想是通过建模和提取与收入密切相关的特征来进行预测。但我们的研究表明情况可能并非如此，因此更深入地了解CNNs如何将视觉特征整合到预测模型中需要，”研究人员JacobLevyAbitbol和Ma′rtonKarsai说。Abitbol和Karsai来自法国里昂高等师范学院(ENS)和匈牙利中欧大学(CEU)。最近，他们联合开发了一种神经网络模型，可以根据航拍图像预测给定位置的社会经济状况，然后基于潜在的城市拓扑解释其激活图，从而弥合了基于城市拓扑的预测与高分辨率社会经济之间的差距地图。该研究展示了卷积神经网络(CNN)在深入分析卫星图像数据方面的潜力。图1：根据实际统计数据（左）和算法预测（右）比较巴黎地区的人均收入地图。每个像素代表4,000平方米，阴影代表不同地区居民的社会经济平均水平。资料来源：Abitbol和Karsai。本研究的最终目标是通过分析一个地区当前的卫星/航空图像来收集有关该地区经济发展的数据，从而逐步取代人工收集的人口普查数据。理想情况下，该模型需要具有可泛化性和可理解性，即在区域A上训练的模型应该在区域B上产生一致的结果，并确保模型接收到正确的信号。该研究使用法国城市的航拍图像进行训练，通过MBConv模块提取特征图，并通过全局平均池化层(GAP)和密集层计算单个p值。由此，每个社会经济阶层的概率来自二项分布，预测预测该地区居民社会经济地位的能力。研究的图像数据主要基于三类公共数据集，提取法国五个城市在社会经济和土地利用数据方面的完整数据和航拍图：法国国家地理研究所提供的法国城市航拍照片信息(IGN)；法国国家统计与经济研究所（INSEE）提供的高分辨率社会经济地图（2019）；欧盟城市地图集（2012）由欧洲环境署提供，涵盖欧盟28个国家和欧洲自由贸易区22个国家。数据集全部在线提供：https://geoservices.ign.fr/documentation/diffusion/telechargement-donnees-libres.html#ortho-hr-sous-licence-ouvertehttps://www.insee.fr/fr/statistiques/4176290?sommaire=4176305https://land.copernicus.eu/local/urban-atlas/urban-atlas-2012巴黎某区域数据采集样本：a.遥感/航拍图像；b.收入的空间分配；C。功能的空间分布。本研究的代码现已开放，非商业免费使用：https://doi.org/10.5281/zenodo.3906063论文地址：https://arxiv.org/abs/2004.04907在研究的早期阶段，你需要找到一个最好的图像空间分辨率来构建可用的算法模型，Abitbol&Karsai在CNN模型上取得了不错的效果。但随着对该算法的进一步测试，Abitbol和Karsai发现它经常被与收入或社会经济地位没有密切关系的城市特征激活。例如，经济发达的城市地区由于公共和商业空间的灯光明亮，夜间照明强度往往很高，但该模型优先考虑居住区的其他功能。于是，他们开始怀疑这些模型在预测不同地区的收入水平时是否使用了相似的特征，以及这些特征与收入水平之间的相关性。虽然有许多深度学习模型可以从卫星图像推断区域经济收入，但大多数模型都没有解释其预测背后的过程。这很大程度上取决于卷积神经网络本身的技术特性——通过理论推导和梯度传播，不断逼近局部最优解。但Abitbol&Karsai仍在尝试解释其模型的预测，以更好地理解它如何推断每张图像的特定收入。为此，Abitbol&Karsai使用热图Grad-CAM对神经网络进行可视化来研究模型的可解释性，即通过热图。基于航拍图（a），使用Grad-CAM计算最贫困地区（b）和最富裕地区（c）的社会经济阶层热图；叠加热力图和航拍图训练CNN得到城市功能区多边形图（d），计算最穷（e）和最富（f）区域的归一化激活率。（UA：urbanarea；DUF：discontinuousurbanfabric）通过将高分辨率类判别激活图投影到原图上，与土地利用数据叠加生成经验统计特征，模型可以更准确地预测土地利用地区的社会经济地位类别。该方案允许进行更广泛的社会经济状况预测，同时还可以准确指出预测的城市环境的真实特征。此外，它还提供了城市拓扑结构与不同城市财富分配之间的关联模式。研究发现，在推断社会经济地位时，CNN模型忽略了土地利用和社会经济数据之间现有的相关性，而是关注居住区内包含的特征。这一发现为预测的实际应用引入了更多的可解释性和参考，使政策制定者和决策者不仅可以提高对模型内部运作的理解，也可以为贫困地区的城市发展和城市规划带来巨大的好处。快来获取更多灵感。尽管CNN显示出收集地理社会经济数据的潜力，但这项研究表明，其预测背后的过程可能不可靠，应进一步调查。接下来，研究团队将在预测模型的可解释性方面进行更多探索，使其能够更高效、更可靠地执行。Abitbol&Karsai表示，“我们对影响模型可预测性和可解释性的因素非常感兴趣。此外，我们还将通过传统的视觉识别算法预测收入水平，以验证CNN模型在不同地区的迁移能力并进行高精度社会经济预测的准确性。”
