让机器狗当足球守门员，靠谱吗？到底靠不靠谱，还是先看看效果再下定论吧。工作人员出手很温柔，机器狗挡球：难度加大，抛物线球，不说了：用手扔球是不是涉嫌作弊？用脚试试，机器狗也能守门。有趣的是，这项研究还尝试让一只机器狗踢足球，另一只作为守门员。两只机器狗自己也能玩的很好：看完效果，感觉机器狗当守门员还是挺靠谱的。这只机器狗就是麻省理工学院2019年研发的MiniCheetah，现在加州大学伯克利分校等机构的研究人员为MiniCheetah部署了全新的强化学习框架，让它能够完成足球守门员任务，成功率为87.5%。.论文地址：https://arxiv.org/pdf/2210.04435.pdf4MiniCheetah1米开球，不到1秒成功守门。MiniCheetah要学会守门还是一件很难的事情，因为涉及到物体（比如球））抛球的高度和动态运动的位置，具体来说，一方操纵一个快速移动的球，球的方向和位置是不确定的，而对方需要快速判断球的位置来防止进球。这样做需要教会机器人动态移动它的身体，同时确保它的脚（或脸）及时到达他们需要阻挡球的位置，基本上将两个谜题结合在一起。该研究的解决方案是将运动控制器与末端执行器轨迹规划相结合，使其能够在到达目标不到一秒的时间内找到让MiniCheetah挡住球的最佳方式。要完成上述过程，迷你猎豹还需要训练掌握一套有用的守门员技能，例如迷你猎豹需要掌握近距离贴地侧身拦截球，掌握扑救技术到球门的底角，跳到球门的顶部和上角。做完这些动作后，迷你猎豹就可以恢复并最终安全着陆了。每项技能的参考动作都是手动编程、模拟训练并直接传输到机器人。小猎豹防守的球门宽1.5m，高0.9m，球（3号）在4m外踢出，皮球跟踪到外侧，小猎豹挡住。这么小的机器狗能完成拦网动作，表现可圈可点。研究表明，机器狗系统可以将模拟中学习到的动态动作和守门员技能迁移到真实的四足机器人上，在现实世界中，随机射门的守门成功率为87.5%。人类足球守门员的平均成功率为69%。研究人员表示，他们提出的框架可以扩展到其他场景，例如多技能足球。让我们来看看这个机器狗背后的框架。HierarchicalReinforcementLearningFramework首先，四足机器人做足球守门员是一个非常具有挑战性的问题，因为它必须同时解决预测物体轨迹和机器人捕捉非抓取物体这两个实际问题（领域）。机器人需要在很短的时间内（通常不到一秒）对在空中飞过的球做出反应并拦截。为了完成这一挑战，研究团队提出了一种分层无模型强化学习(RL)框架。该框架由针对不同运动技能的多种控制策略组成，覆盖目标的不同区域。这些控制策略允许机器人跟踪随机参数化末端执行器的轨迹，同时执行特定的运动技能，例如跳起来阻挡、猛击和接住在地面上滚动的球。RL框架中包含一个高级规划器，可帮助机器人确定所需的运动技能并规划末端执行器轨迹以拦截飞向不同目标区域的球。该研究将上述RL框架部署在MIT2019年提出的MiniCheetah四足机器人上。实验表明，该RL框架可以让四足机器人有效拦截现实世界中快速移动的球体。以往对四足机器人强化学习框架的研究主要集中在低级运动控制上，例如让机器人以所需速度行走，模仿参考运动。本研究中提出的框架将学习到的运动技能扩展到更高级别的任务，成功地使用先进的计划让四足机器人以敏捷的动作准确拦截快速移动的足球。这对四足机器人的高级规划控制具有重要意义。
