智动西（公众号：zhidxcom）|心源简介：OpenAI开发的AI组建了电子竞技战队，并在5v5点Dota 2公开黑战中击败了人类。
玩家们，协作AI取得突破性进展，计划征战Dota2 TI8国际邀请赛。
据知西西新闻6月26日报道，美国时间25日，著名非营利组织OpenAI宣布了人工智能行业的新惊喜：AI可以像人类一样“组队”，在5v5战斗中彻底击败Dota 2人类玩家，平均天梯分数超过90%（超过近90%的DOTA2玩家，去年中国天梯平均分数为90%）。
OpenAI的支持者、特斯拉创始人埃隆·马斯克表示：“OpenAI首次在竞争激烈的电子竞技比赛中击败了世界顶尖选手，这远比围棋、国际象棋等传统棋盘游戏复杂。
” 1.AI团战登场，展现不可思议的技能 Dota 2是一款非常复杂的即时战略游戏。
两支由五名玩家组成的队伍互相攻击，包围并摧毁对方的基地。
游戏拥有可玩的英雄，每个英雄都拥有独特的技能和属性，这意味着人类基本上不可能完美地操作和处理游戏的所有可能性。
然而，人工智能或许能够克服这一限制。
▲Dota 2 顶尖职业选手 Dendi 在去年 8 月的 Dota 2 国际邀请赛 TI7 上，Open AI 的机器人在 1v1 的比赛中彻底击败了 Dota 2 顶尖职业选手 Dendi。
Dendi是世界著名的Dota 2职业选手和独奏大师。
他的玩法灵活多变，经常能做出出神入化的操作。
曾率领Navi战队夺得TI1冠军，TI2、TI3亚军。
在这场人机大战中，AI的表现相当强劲，攻击技巧娴熟，威力强大。
擅长格挡、压制、补给等作战，每一击几乎都是致命的。
就连假动作和演技都非常高。
等级。
第一局AI仅用了10分钟就击败了Dendi，并在第二局开始时进塔击杀了Dendi，迫使Dendi认输并拒绝打第三局。
▲去年，OpenAI Dota 团队的一个分支拿着笔记本电脑在 Dota 1v1 中击败了世界顶级职业选手。
昨天，OpenAI人工智能体系华丽升级，推出OpenAI五人体系，首次挑战5v5团战，成功击败OpenAI最优秀员工团队。
本场比赛由专业解说Blitz和OpenAI Dota团队成员Christy Dennison进行点评，并受到社区关注。
此战，队伍在一定程度上降低了团战难度：首先，对手不是顶级职业选手；第二，AI暂时只会使用5个英雄；第三，要求人类玩家不能使用真眼和假眼。
这些限制使得 OpenAI Five 参加的比赛比最具挑战性的人类版本更容易。
截至目前，OpenAI 五人组已与以下队伍进行过比赛： 1、最强 OpenAI 员工团队：MMR； 2、观看OpenAI员工比赛的最强观众（包括点评首届OpenAI员工比赛的Blitz）：MMR； 3、阀门员工团队：MMR； 4.业余团队：MMR，团队训练； 5、半职业团队：MMR、团队培训。
其中，MMR（MATCH MAKING RATING）指的是匹配等级，用于保证玩家能够与真实实力相近的玩家进行比赛，并影响玩家在比赛后可以获得或失去多少积分。
经过一段时间，玩家积分会逐渐接近隐藏的MMR值。
OpenAI Five在4月23日版本首次击败脚本基线，5月15日版本与第一队打成平手，各胜一负。
在6月6日与1-3队的对决中，新版本OpenAI Five赢得了所有比赛。
随后，该团队与 4 队和 5 队进行了非正式比赛。
他们以为 AI 会输，但没想到 OpenAI Five 赢了前三场比赛中的两场。
比赛过程中，OpenAI五人为了控制敌人多次牺牲自己的安全路径，让对方难以防守。
为了从游戏前期到中期比对手更快，OpenAI 五人做出了两个动作：（1）建立成功的ganks（玩家在地图上移动伏击对方英雄）； (2)在对手聚集之前组队推倒塔。
另外，OpenAI五还有一些非主流的玩法，比如给辅助英雄早期的经验和金钱。
它的优先级可以让伤害值提升得更快，从而可以快速赢得团战。
研究团队表示，OpenAI Five 平均每分钟执行 10 个动作，每 4 帧观察到的理论最大值是，这种时间控制对于人类来说已经变得完美。
OpenAI Five 的平均反应时间也比人类更快，仅为 80 毫秒。
▲ OpenAI员工与机器人比赛结束后颁发奖杯。
机器人奖杯由她的团队的 Susan Zhang 领衔。
专业Dota比赛解说员Blitz表示：“感觉就像是五位懂得出色整体策略的无私选手一起工作，而机器人的团队合作令人深深震撼。
” 2、“刻苦”学习：天天打游戏，长年累月。
OpenAI 5通过强化学习实现自我学习，每天积累的游戏经验需要人类获得岁月的积累。
如此“刻苦学习、刻苦练习”，似乎并不需要拥有超强的策略能力，这并不奇怪，一个由五个神经网络组成的团队大大增加了人工智能系统所需的计算能力，而OpenAI Five使用了运行在其上的近端策略优化的扩展版本。
每台机器使用 1 个 GPU 和 10 个 CPU 核心进行训练，并且不使用人类数据来学习可识别策略 1. 每个 OpenAI Five 网络包含一个具有一个单元的单层 LSTM。
通过 Valve 的 Bot API 查看游戏状态，并通过几个可能的动作来做出下一个动作，比如延迟这个动作的刻度数、要选择的动作数、以及这个动作在游戏中的 X 或 Y 坐标。
单元周围的网格等。
2.探索环境秩序。
为了能够及时做出有效的应对，OpenAI Five需要对环境进行长期不断的探索。
通过探索，OpenAI Five获得相应的奖励值来衡量人们在游戏中的进攻、援助等决策。
减去平均奖励后，就是 OpenAI Five 的了。
下一步提供选择的基准。
3. 协调 OpenAI Five 的英雄神经网络之间没有特定的通信渠道。
他们通过研究人员称之为“团队合作”的超参数来控制团队合作。
从0到1，它为OpenAI 5的每个英雄如何权衡个人奖励和团队奖励提供了权重设置，让系统能够因地制宜地学习新的策略。
4.Rapid OpenAI Five使用研究人员已经使用过的通用强化学习训练系统Rapid。
Rapid解决了其他问题，例如OpenAI的Competitive Self-Play。
研究团队使用自己的NCCL2包来并行化GPU计算和网络数据传输，并采用Kubernetes、Azure和GCP后端。
3.挑战比较。
AlphaGo 的更高难度 当人们想到人工智能里程碑时，他们通常会想到人工智能击败国际象棋或围棋世界冠军。
如今，新的人工智能里程碑正在《星际争霸》或《刀塔》等复杂视频游戏中超越人类。
比传统棋盘游戏更困难的是，复杂的视频游戏开始捕捉现实世界的混乱和连续运动，这需要能够适应此类游戏规则的系统具有高度的通用性。
玩 Dota 2 的 AI 面临着几个挑战。
难点：1、持续时间长。
Dota游戏运行速度为每秒30帧，平均时间为45分钟，平均每局80帧。
OpenAI Five 每 4 帧观察一次，产生 20 次运动。
几乎所有的举动都是战略性的。
2.观察范围有限。
国际象棋和围棋都是全信息游戏，而Dota中的敌人是可以隐藏的。
比赛需要根据不完整的数据进行推断，需要实时掌握对手的状态信息。
AI目前还不具备控制视野的能力。
所玩的版本要求双方只能在游戏既定视野内进行战斗，不能根据能力改变视野。
3.高度连续的动作空间在Dota中，每个英雄可以采取数十个动作。
研究人员将每个英雄的空间划分为 、 可能的行动；除去连续的部分，平均每帧有大约10个有效动作。
围棋的平均步数是一步，而国际象棋的平均步数则更少，只有 35 步。
4.高维连续观察空间Dota包含十个英雄、数十个建筑、数十个NPC单位以及符文、树木、结界等一系列游戏功能，这些功能将在梯田上不断移动。
OpenAI Five模型通过Valve的Bot API观察Dota游戏的状态，其中大约20,000个浮点数用于表示允许人类访问的所有信息。
相比之下，国际象棋棋盘需要大约 70 个枚举值，围棋棋盘需要大约 70 个枚举值。
Dota的规则也非常复杂。
该游戏已经开发了十多年，拥有数十万行复杂代码。
该逻辑的执行需要几毫秒，而对于国际象棋和围棋来说，只需纳秒。
此外，游戏每两周更新一次，其环境的语义也在不断变化。
针对这些问题，OpenAI Five 团队使用大规模版本的 Proximal Policy Optimization 进行学习。
CPU、图形处理器、每秒比赛观察次数等各项参数相比去年的OpenAI 1v1机器人有了全面的提升。
根据OpenAI Five当前版本的测试比赛表现，评论员Blitz估计大致是Dota玩家的平均水平。
在比赛过程中，研究人员发现OpenAI Five会做出一些职业策略，比如为了长期的团队奖励而做出暂时的自我牺牲，以及利用剩余生命值引诱人类玩家离开高地等。
这些观察结果大大增加了研究人员的信心，认为一些尚未融入游戏的元素将尽快添加。
结论：剑指TI8，我们的目标是星辰大海。
这仅仅是个开始。
尽管OpenAI Five仍有巨大的障碍需要克服，并花费了大量的人力和财力，但它的野心又怎能停留在与业余玩家的较量上呢？ OpenAI Five的研究团队表示，他们正在专注于优化系统，希望它能够超越人类的表现。
继去年1v1获胜后，今年8月下旬，在加拿大温哥华举行的Dota 2顶级赛事TI8上，OpenAI Five将进入5v5团战，与真正的职业选手队伍进行较量。
在此之前，7月28日，OpenAI五人组将首先与顶尖选手进行较量，通过Twitch上的直播与大家见面。
如果OpenAI五号能够打好一仗，那么它将分享DeepMind的AlphaGo系列赛给人们带来的风头。
现实世界的人工智能部署必须处理的问题比国际象棋、围棋和雅达利游戏中的问题复杂得多。
“协作”人工智能技术将有望学习现实世界中复杂而混乱的重要任务。
例如，通过相互合作获得在线交易或广告竞价排名中的订单，组队完成多样化的制造任务，甚至完成外科手术等，这些将进一步解放人类的双手。
OpenAI希望有一天能够利用与Dota 2竞争的经验来构建一个更通用的系统，为人类社会做出贡献。