今年11月，世界杯又要打响了。那个时候，不管踢不踢，踢得好不好，很多人都会重新开始谈论足球。没办法，谁说足球是世界第一大运动。不过，与世界杯相比，科学家们更感兴趣的是一年一度的机器人杯3D模拟联赛。不久前，英国人工智能公司DeepMind的研究团队通过对数十年足球比赛的计算机模拟，使用加速版动作课程，训练AI熟练控制数字人形足球运动员。相关研究发表在期刊《科学·机器人》上。论文地址：https://www.science.org/doi/10.1126/scirobotics.abo0235显然，这并不是“AI足球运动员”第一次进入大众视野。AI足球运动员进化简史早在2016年，AlphaGo围棋战胜李世石后不久，Deepmind就开始考虑让AI踢足球。当年6月，DeepMind的研究人员让AI控制一个蚂蚁形状的物体去追一个小球，然后运球直到它进球。据DeepMind团队负责人DavidSilver介绍，借助当时谷歌最新开发的异步Actor-Critic算法，即A3C，AI不仅完成了项目，而且不需要向他灌输知识关于整个过程中的力学。这个实验给“AI踢足球”开了个好头。到2019年，DeepMind已经培养了很多“Player”，它们是由不同的训练程序组成的，DeepMind从中选出了10个双人足球队。这10个团队各有250亿帧的学习经验，DeepMind收集了他们之间的100万场比赛。然后DeepMind设置环境让多个AI一起踢球，并提前设定规则奖励整个“足球队”，而不是鼓励一个“AI球员”的个人成绩来推动整个球队的进步.通过这种方式，DeepMind证明了AI可以相互合作。一切看起来都很顺利，但是到了2020年，DeepMind的AI玩家出了问题。根据脑体提供的信息，在一场比赛中，一台足球机器人排成一列准备射门，但机器人守门员并没有准备防守，而是倒地开始乱摆腿。.你以为这就是结局？太天真了！然后前锋机器人选手跳了一段很迷惑的舞蹈，跺脚，挥手，重重摔在地上。这一幕让全场震惊：见过放水的，没见过这么放水的！为什么会这样？这还要从背后的原理说起。从“AI踢足球”开始，研究人员就采用了强化学习的路径。此前，AlphaGo的学习是基于监督学习，即通过有标签的数据集进行训练。但这种方式对数据的“干净度”要求很高：一旦数据出现问题，AI就会出错。相比之下，强化学习是一种模仿人类的学习模型。人工智能以“反复试验”的方式学习。对了就奖励，错了就惩罚，从而建立正确的联系。它似乎比传统的监督学习要聪明得多，但仍然存在漏洞。例如，人工智能会误解奖励和惩罚并产生奇怪的策略。OpenAI曾经设计过一款赛艇游戏，AI最初的任务就是完成比赛。研究人员设置了两种奖励，一种是完成游戏，另一种是在环境中收集分数。结果是智能体找到了一个区域，在那里不停地转圈来“得分”。最后，它自然没能完成比赛，反而得分更高。这一次，AI玩出了什么新花样？虽然AI踢球，出现了翻车的场景，但研究人员并没有放弃。正如文章开头提到的，DeepMind的研究团队在培养“AI足球运动员”方面取得了新的突破。论文称，虽然DeepMind团队在这项研究中简化了比赛规则，将两队的球员人数限制在2-3人，但“AI足球运动员”可以完成带球突破、体能突破等动作。对抗，精准射击。.那么研究人员是如何训练“AI足球运动员”的呢？简单来说，就是监督学习和强化学习的结合。第一步，AI需要看人类踢球的视频片段，学会自然走路，因为一开始AI不知道在足球场上做什么。第二步，AI在强化学习的算法下练习运球和投篮。AI可以在大约24小时内完成这两个步骤。第三步，以比赛的形式进行训练。AI机器人将进行2对2的比赛。此步骤需要2到3周时间。主要目的是让AI学会团队合作和预测传球等更难的动作控制。“AI足球运动员”的表现还是让研究团队感到相当满意。DeepMind团队认为，这项研究将推动人工系统向人类水平的运动智能迈进。不过，DeepMind团队还是比较清醒的。他们知道，这个突破还是有局限性的。例如，比赛是2v2，而不是真实足球比赛中常用的11v11。这并不意味着人工智能可以参与更复杂的足球比赛。此外，即使是简单的2v2比赛也不能直接在机器人硬件上使用。也就是说，科学家们还没有研制出会踢足球的机器人。参考资料：https://www.science.org/doi/10.1126/scirobotics.abo0235https://sports.yahoo.com/deepmind-ai-now-play-football-134345563.html?guccounter=2https://www。woshipm.com/ai/3619952.htmlhttp://it.people.com.cn/n1/2016/0622/c1009-28467916.html
