OpenAI发布SpinningUp教学资源，旨在让大家精通深度强化学习技能。SpinningUp包括清晰的RL代码示例、练习、文档和教程。在项目主页，OpenAI提供了非常完整的教程，包括SpinningUp的详细介绍，各种环境下的安装方法，包含的算法，以及实验实现的教程。此外，OpenAI还提供了丰富的学习资料，包括强化学习入门基础、学习RLwithSpinningUp的课程、论文推荐、实验练习、benchmark结果参考等。我给人最好的印象就是，如果你想在深度强化学习上从零到英雄，每天上这个网站就够了~项目地址：https://spinningup.openai.com/en/latest/中DeepRL迈出了第一步OpenAI相信深度学习——尤其是深度强化学习——将在强大的人工智能技术的发展中发挥核心作用。虽然有很多资源可以帮助人们加快深度学习的速度，但深度强化学习更具挑战性。为此，OpenAI设计了??SpinningUp来帮助人们学习使用这些技术，并扩展一些关于它们的想法。OpenAI设计SpinningUp的灵感来自于与该机构的学者和研究人员的合作，通过合作他们发现，在机器学习方面经验很少或没有经验的人，只要有正确的指导和资源，也可以迅速成长为从业者。经过。在深度强化学习中开发的SpinningUp就是为满足这一需求而准备的，该资源已包含在2019年学者和研究员团队课程(https://blog.openai.com/openai-scholars-2019/)中。OpenAI还发现，拥有RL能力可以帮助人们从事跨学科研究领域，例如AI安全——这涉及强化学习和其他技能的组合。也有不少正在从零开始学习RL的人向OpenAI求教，所以决定正式发布所提供的非正式建议。SpinningUp主要包括以下核心内容：强化学习技术介绍，包括对各种算法和基础理论的直观理解；介绍如何做好强化学习研究的一些经验；实施重要论文，按主题分类；各种增强学习算法的个别实现，都有非常全面的介绍文档；***还会有一些热身练习。整个项目可以分为用户文档、强化学习介绍、资源、算法文档和Utilities文档。其中，用户文档主要介绍了学习该项目所需的一些准备工作，包括如何安装Python和OpenAIGym等强化学习环境、学习资源的主要内容、实战中的注意事项等。在介绍中ReinforcementLearning，OpenAI主要讨论RL中的关键概念、关键算法、策略优化。根据这部分的内容，至少我们会对强化学习有个清晰的认识，正式从入门到入门。介绍之后的资源章节最适合高级用户。OpenAI会先介绍如何做好强化学习研究，包括需要什么样的背景知识，如何写RL代码，思考强化学习问题。当然，这部分也提供了大量的“硬资源”。OpenAI根据12个主要研究主题提供了98篇“必读”论文，并提供了一些其他练习和挑战。估计读者拿到资源部分后，就能成为真正的强化学习研究者了。当然，我们也可以跳过直接学习第三部分的算法文档，里面包含了policygradient、policyoptimization、Actor-Critic等多种主流的强化学习算法。只要我们完成了第一部分的前提准备，第三部分的各种算法就可以掌握了。此外，对于每个RL算法，文档都会提供全面的介绍，包括基本思想、公式定理、模型组件和参数等。支持项目有以下支持计划：高带宽软件支持期：前三个发布几周后，OpenAI将快速处理错误修复、安装问题，并解决文档中的错误和歧义。我们努力简化用户体验，让自学SpinningUp变得尽可能简单。2019年4月主要审查：发布后大约六个月，OpenAI将根据从学习社区收到的反馈仔细审查包的状态，并宣布任何未来修改的计划。公开发布内部开发：如果OpenAI在与学者和研究人员合作时对DeepRL中的SpinningUp进行了修改，OpenAI会将修改发布到公开报告中，并立即提供给所有人。OpenAI还将与其他组织合作，帮助人们学习使用这些材料。他们的第一个合作伙伴是加州大学伯克利分校的人类兼容人工智能中心(CHAI)，并将在2019年初合作举办深度强化学习研讨会，类似于OpenAI计划的SpinningUp研讨会。HelloWorld了解深度强化学习算法性能的最佳方式是运行它们。使用SpinningUp非常简单：python-mspinup.runppo--envCartPole-v1--exp_namehello_world在培训结束时，您将获得有关如何查看实验数据和观看培训代理的说明视频指导。SpinningUp实现与MuJoCo任务套件中的ClassicControl、Box2D和Gym环境兼容。考虑到新学习者，我们将SpinningUp的代码设计得更短、更友好、更容易学习。我们的目标是展示理论如何通过最少的实现转化为代码，避免深度强化学习库中常见的抽象层和混淆层。我们赞成清晰而不是模块化-实现之间的代码重用严格限于日志记录和并行实用程序。注释代码，以便您始终了解事情的进展，并在相应文档页面上得到背景材料（和伪代码）的支持。学习资源概览在整个项目中，强化学习和算法的介绍可能是很多读者非常感兴趣的章节。下面主要介绍这两部分的内容。首先，在强化学习的介绍中，必须把关键概念解释清楚：状态和观察值；动作空间；战略;弹道;不同的正式奖励；RL优化问题；值函数。在关键概念之后，OpenAI详细介绍了各种强化学习算法和技术在整体中的应用。如下图，强化学习也是一个桃李满满的大家庭：***在强化学习的介绍中，OpenAI也着重介绍了策略优化。这部分推导比较多，尤其是梯度的推导。但好消息是，这些推导都给出了详细信息，包括变换、消除和一些对数技巧。读者可以感受一下推导过程：此外，在算法章节中，SpinningUp还包含了很多重要的强化学习算法，项目页面也给出了各个算法的详细介绍和调用方法。SpinningUp中包含的算法。比如上图的策略梯度算法，在文档中会给出关键方程、伪代码、使用方法和参考文献。策略梯度算法的有限时间无折扣奖励的梯度期望，以及策略参数的梯度更新方法。策略梯度算法的伪代码。策略梯度算法的调用函数，我们可以看到SpinningUp提供的函数调用可以直接设置参数。文档还提供了详细的参数解释。策略梯度算法参考。SpinningUp在MuJoCoGym任务套件的5个环境中提供算法实现基准，包括HalfCheetah、Hopper、Walker2d、Swimmer、Ant。HalfCheetah-2训练300万个时间步的基准结果。
