本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。10年前，甚至100年前，你长大的街道是什么样子的？△OtaniSpitzer现在，除了使用AI来恢复旧图像数据外，谷歌还发布了新的“时间旅行”解决方案。就这样，用3D的视角，看看曼哈顿切尔西区从1890年到1970年的建筑变迁，是不是有点历史变迁的感觉？这种“时光机”的引擎是谷歌推出的基于浏览器的工具集r?（音归），主要由三部分组成：众包平台。用户可以上传城市的历史地图，将它们与现实世界的坐标相匹配，完成地理校正，并对它们进行矢量化处理。时空地图服务器。可以显示城市地图如何随时间变化。一个3D体验平台。运行在r?地图服务器上，利用深度学习，根据有限的历史图片和地图数据重建3D建筑，打造3D体验。众包重建一个城市的过去最大的困难是数据：可用的图像很少，从图像中获得的元数据自然比现代地图少得多。为了应对这一挑战，谷歌工程师求助于r?，这是一种在谷歌云和Kubernetes上运行的开源工具。它的作用是利用众包让用户共同创建一个具有时间维度的地图服务器。具体来说，用户可以通过浏览器上传不同年代纸质地图的扫描件，并对它们进行地理校正，使历史地图与现实世界的坐标相匹配。然后，通过跟踪地理特征，如地标、道路等，将历史地图转换为OSM矢量格式。这些矢量地图在由瓦片服务器渲染后，就变成了一张可以放大和平移的滑动地图，就像你通常看到的那样在谷歌地图上。重建3D模型下一步是使用这些图像和地图数据来重建历史上出现过的建筑物的3D结构。这里的困难在于，在大多数情况下，建筑物的历史图像很可能只有一个。为此，谷歌工程师开发了一套从粗到精的识别和重建算法。如图所示，首先，基于众包标注或自动检测算法识别地图标记和历史图像中的建筑物立面，为其生成粗略的3D结构。同时，该算法识别建筑物立面上的所有单独组件，如窗户、入口和楼梯，并根据其类别重建详细的3D结构。结合两者，您将获得最终的3D网格。此结果将存储在3D资产库中，为下一次渲染做好准备。该算法涉及的SOTA深度学习模型包括：用窗户、入口、楼梯等立面组件标注训练的RCNN，用于定位历史图像中的边界级实例。语义分割模型DeepLab，为每个语义类提供像素级标签。专门设计的神经网络，可确保在立面上生成的窗户间距相等且形状一致。同时也保证了楼梯、窗户等不同语义类之间的一致性，从而使这些构件能够放置在合理的位置。还原全球城镇，以及《微软模拟飞行》在此之前，微软还与AI初创公司Blackshark.ai合作推出了全球最大的模拟游戏《微软模拟飞行2020》，通过机器学习2D还原了全球200万个城镇到3D模式，15亿座建筑物和37,000个机场。游戏一上线，知名游戏评测媒体IGN就给了它10分的满分。而且，黑鲨还透露，这种技术未来可能会用于自动驾驶。那么，对于谷歌这次推出的怀旧项目，你怎么看呢？如果你有兴趣，不妨加入其中。谷歌表示历史数据集和源代码都会开源~传送门官博：https://ai.googleblog.com/2020/10/recreating-historical-streetscapes.htmlR?tools剧集：https://re.城市/#14.25/40.74094/-73.98798
