只有0.2%的星际争霸2玩家没有被AI碾压。这是匿名潜入天梯的AlphaStar交出的最新成绩单。同时，DeepMind还在Nature上全面公开了AlphaStar目前的战力和全套技术：AlphaStar已经超越了99.8%的人类玩家，在神族、人族和虫族三个种族中都达到了宗师级别。在论文中，我们还发现了一个特殊的训练姿势：NotallagentsareordertowinDeepMind在博客中说，发表在Nature上的AlphaStar有四大更新：一是约束：现在AI的视角和那个一样对人类来说，动作的频率限制也更加严格。二是人族、神族、虫族都可以1v1，每个种族都有自己的神经网络。三是league训练是完全自动的，从有监督学习的agent开始，而不是从已经密集学习过的agent开始。第四个是战网的成绩。AlphaStar在三场比赛中都达到了大师水平。它使用与人类玩家相同的地图，并且所有游戏都有回放。具体到AI的学习过程，DeepMind特别强调训练目标的设定：并不是每个agent都追求获胜的最大化。因为在自我对弈（Self-Play）的过程中，agent很容易陷入特定的策略，这种策略只在特定的情况下有效，面对复杂的博弈环境表现会不稳定。因此，团队参考了人类选手的训练方式，就是和其他选手一起进行针对性训练：一个agent通过自己的操作暴露出另一个agent的缺陷，从而帮助对方训练出某种想要的技能.这样一来，就有了目标不同的代理人：第一个是主代理人，目标是赢球，第二个是负责挖掘主代理人的短板，帮助他们变强，而不是专注于提升自己胜率。DeepMind称第二种为“Exploiter”，我们简称为“Sparring”。AlphaStar所学到的各种复杂策略，都是在这个过程中培养出来的。比如蓝色是负责获胜的主力，红色是帮助其成长的陪练。Red发现了一个冲炮技能，Blue无法抵抗：然后，新的主力（Green）学会了如何成功抵抗Red的冲炮技能：同时，Green击败了之前的主力小兰，通过经济优势，以及兵种组合和控制来实现：后来又来了一个新伙伴（小布朗），找到了主力小鹿的新弱点。刀打它：循环往复，AlphaStar越来越强。至于算法的细节，这次也展现的淋漓尽致。AlphaStar技术，最全披露很多现实生活中的AI应用都涉及到多个智能体在复杂环境中的竞争与协调。像星际争霸这样的即时战略游戏的研究，是解决这个大问题过程中的一个小目标。也就是说，星际争霸的挑战其实是一个多智能体强化学习算法的挑战。AlphaStar学会玩星际，还是靠深度神经网络，这个网络从原来的游戏界面接收数据（输入），然后输出一系列的指令，形成游戏中的某个动作。AlphaStar通过概览图和单位列表来观察游戏。在采取行动之前，代理输出要发出的行动类型（例如，构建）、将行动应用到谁、目标是什么以及何时发出下一个行动。动作通过限制动作速率的监控层发送到游戏。训练是通过监督学习和强化学习完成的。一开始，训练使用监督学习，素材来自暴雪发布的匿名人类玩家游戏直播。这些资料让AlphaStar通过模仿星际天梯玩家的操作，学习游戏的宏观和微观策略。原智体可以被游戏内置的精英AI打败，相当于人类的黄金段位（95%）。而这个早期的智能体就是强化学习的种子。在此基础上，创建了一个ContinuousLeague，相当于为智能体准备了一个竞技场，智能体之间相互竞争，就像人类在梯子上相互竞争一样：从现在开始，随着新的分支的出现在一些代理上创建，越来越多的玩家将继续加入竞争。然后新代理从与对手的竞争中学习。这种新的训练形式是深化了之前基于群体（Population-Based）的强化学习思想，创造了一个可以不断探索巨大策略空间的过程。这种方法在确保智能体在战略强大的对手面前表现出色的同时，也不忘如何应对早期实力较弱的对手。随着代理联盟的继续和新代理的诞生，新的反击策略（CounterStrategies）将会出现，以应对早期的游戏策略。新代理实施的一些策略只是早期策略的略微改进版本；而另一部分智能体则可以探索全新的策略、完全不同的构建顺序、完全不同的单元组合、完全不同的微操作方式。另外，应该鼓励联盟中agent的多样性，让每个agent都有不同的学习目标：比如agent应该设置攻击哪些对手，比如应该用哪些内部动机来影响agent？代理人的偏好。△联盟训练的鲁棒性而且，agent的学习目标会适应环境的不断变化。神经网络赋予每个代理的权重也随着强化学习过程不断变化。不断变化的权重是学习目标进化的基础。权重更新规则是一种新的off-policy强化学习算法，包括ExperienceReplay、Self-ImitationLearning、PolicyDistillation等机制。15年后，AI统治星际争霸《星际争霸》是最具挑战性的即时战略(RTS)游戏之一。在游戏中，不仅要协调短期和长期目标，还要应对突发情况。Touchstone”。因为它面临的是不完全信息博弈的情况，挑战难度极高，研究人员需要花费大量时间来攻克难题。DeepMind在推特中表示，AlphaStar能够取得目前的成绩，研究人员一直在努力在《星际争霸》系列游戏上已经15年了。但是DeepMind的工作真正为人所知的，就是这两年。2017年，AlphaGo打败李世石后的第二年，DeepMind和暴雪发布了一套开源工具称为PySC2。在此基础上，结合工程和算法的突破，进一步加速了对星际游戏的研究。此后，许多学者对星际争霸进行了大量研究。例如，南京大学于洋团队，腾讯AI实验室、加州大学伯克利分校等今年1月，AlphaStar迎来了AlphaGo时刻，在与星际争霸2职业选手的比赛中，AlphaStar以机智称霸比赛h总比分10-1。人类职业选手LiquidMaNa在它面前只坚持了5分36秒，就被GG了。全能职业选手TLO在输球后感叹，和AlphaStar比赛很难，不像和其他人比赛，他觉得很茫然。半年后，AlphaStar迎来了又一次进化。在保持APM（手速）和视野与人类玩家一致的同时，DeepMind实现了对Protoss、Terran、Zerg的全面掌控，并解锁了多张地图。同时公布了一个新进展：AlphaStar将登陆游戏平台战网进行匿名匹配天梯。现在，随着最新论文的发布，AlphaStar的最新战力也被揭晓：击败了99.8%的玩家，获得了大师称号。DeepMind在一篇博客文章中说，这些结果提供了强有力的证据，表明通用学习技术可以扩展人工智能系统，使其在涉及多个参与者的复杂和动态环境中工作。随着星际争霸2取得如此骄人的成绩，DeepMind也开始将目光投向更复杂的任务。首席执行官哈萨比斯表示：星际争霸15年来一直是人工智能研究者的重大挑战，所以看到该作品获得《自然》杂志的认可，非常令人兴奋。这些令人印象深刻的结果标志着我们朝着创建可加速科学发现的智能系统的目标迈出了重要一步。那么，DeepMind的下一步是什么？Hassabis也多次表示星际争霸“只是”一个非常复杂的游戏，但他更感兴趣的是AlphaStar背后的技术。但也有人认为这项技术非常适合军事应用。不过从谷歌和DeepMind的态度来看，这项技术会更侧重于科学研究。它包含很长序列的预报，例如天气预报和气候建模。也许你最近对这个方向并不陌生。因为谷歌刚刚实现的量子优势，最有潜力的应用也是气候等重大问题。现在量子计算有了突破，DeepMindAI又更进了一步。未来更值得期待。你怎么说？还有一点，虽然AlphaStar的战绩很好，但有些人它赢不了。AlphaStar刚进入天梯的时候，人类魔王Serral就公开嘲讽过它。这只是为了好玩。但他们确实有实力，他们还是有能力和AI正面对抗的。不过，敢这样说话的高手，天下也只有一个。
