编辑| White Pigeon 据 IEEE Spectrum 报道,两年前,苏黎世大学 Davide Scaramuzza 实验室的机器人专家使用了一个安装在徒步旅行者头上的机器人。
相机拍摄的一组照片用于训练深度神经网络,然后使无人机能够沿着森林中的路径飞行而不会撞到任何东西。
安全飞行的原因在于,使用该技术可以让无人机拥有最小的机载传感和完全自主的计算能力。
此外,无需专门收集以无人机为中心的数据来训练深度神经网络。
在最近发表在 IEEE 机器人与自动化通信上的一篇新论文中,苏黎世大学机器人与感知小组负责人 Scaramuzza 教授和他的一名博士生 Antonio Loquercio,以及合作者 Ana I. Maqueda 和 Carlos R.来自西班牙马德里大学。
德尔-布兰科介绍了一些新的研究进展,利用汽车和自行车收集的数据来训练深度神经网络,可以使无人机在城市街道上自由飞行。
大多数自主无人机(以及一般的自主机器人)并不使用预先存储的地图进行导航,而是使用某种同步定位和建图的功能,或者研究人员所说的“地图定位计划”,即创建一个地图,在此地图上定位,然后规划安全步行路线。
但这需要相对大型且复杂的计算机以及非常昂贵且耗电的传感器。
如果无人机要商业化,这种做法并不可行。
幸运的是,可以用数据驱动的解决方案替换所有硬件。
给定足够大的数据集来对应该完成的事情做出正确的预测,这种能力允许深度神经网络被训练来响应简单的人类指令。
然而,在像城市这样的真正繁忙的环境中收集数据是不太可能的。
但目前,由于自动驾驶汽车的发展,这方面的数据已经很多了。
然而,这些数据并不适合训练无人机,因为尽管它们包括将摄像机图像与转向角度相关的数据,但它们不包括将摄像机图像与碰撞相关联的概率的数据。
Scaramuzza 和他的同事通过将极限运动相机 GoPro 放在自行车上来收集未经审查的数据。
使用这些汽车数据集和自行车数据集来训练卷积神经网络 DroNet,使无人机能够安全地穿越城市街道。
此外,通过输入单目摄像头的图像,DroNet可以控制任何无人机,使其在生活场景中以特定的转向角度和速度前进。
此外,在可能发生碰撞的情况下,无人机可以自动调整速度。
这次训练的所有数据都来自室外环境,但研究人员发现,即使没有室内数据的训练,它也能在这些环境中表现良好,例如建筑物和车库。
欲了解更多详细信息,我们通过电子邮件采访了苏黎世大学机器人与感知小组负责人 Scaramuzza 教授: IEEE Spectrum:您能告诉我们这项研究如何提高几年前直升机的森林导航能力吗? Davide Scaramuzza:在这项工作中,DroNet 采用了完全不同的方法。
事实上,以前的神经网络只能识别路径,然后输出采取离散动作(中心、左、右)的指令。
相比之下,DroNet可以持续输出控制指令,可以让无人机飞行更加平稳。
此外,DroNet还可以识别危险情况,例如当行人或自行车经过时,并可以命令无人机停止飞行。
IEEE Spectrum:DroNet可以应用在哪些场景?您展示了它在停车场和室内的工作情况,那么不同环境下的挑战是什么?您的算法会遇到麻烦或变得无法使用吗? Davide Scaramuzza:视频中广泛演示了这一系列的应用。
有时我们甚至对它在实践中的效果感到惊讶。
我们正在试图解释这种情况,我们还发现神经网络能够对具有“线状”特征的环境做出特异性反应。
例如街道、停车场、室内走廊以及所有其他以线条为特征的环境。
但那些有线条特征的地方并不能代表它的运动方向,或者一些线条特别密集的地方也会给DroNet带来挑战。
例如,当无人机放置在没有明确路线的森林中时,它将无法正常工作。
IEEE Spectrum:在一份新闻稿中,研究团队警告说,人们对这种轻便、廉价的无人机的期望太高了。
那么您对无人机有何期待?我们应该对这些无人机有何期待? Davide Scaramuzza:目前这些只是初步研究结果。
而且深度神经网络只能输出转向角和碰撞概率。
因此,无人机的运动被限制在恒定的高度。
此外,它无法与其他功能集成,例如探索。
然而,通过这项研究,我们想要展示浅层神经网络的用途(DroNet 只需使用简单的 CPU,而不是非常耗电的 GPU)。
因此,我们取得的研究成果可以应用于很多资源受限的平台,甚至可以应用于纳米无人机,使其能够在城市环境中导航。