深度学习研究像武林大会？没想到，这些看似无所不包的科技公司和AI实验室，其实都有自己深耕细作的“流派”。作为Alphabet的子公司，DeepMind可以说是强化学习的代名词。从AlphaGo到MuZero，再到最近的AlphaFold2，DeepMind一直在强化学习领域寻求突破。AlphaGo是一种计算机程序，可以击败专业的人类围棋棋手。它结合了高级搜索树和深度神经网络。除了在围棋、国际象棋、国际象棋上达到AlphaZero的水平，MuZero还掌握了一系列视觉上非常复杂的Atari游戏。而MuZero在训练时并没有任何外在经验，只知道游戏规则。https://deepmind.com/blog/article/muzero-mastering-go-chess-shogi-and-atari-without-rules这些神经网络将围棋棋盘的描述作为输入，并通过不同的层进行处理，其中包含数百万个类似神经元的连接。该模型通过一个“策略网络”选择下一步行动，并通过另一个“价值网络”预测游戏的赢家。此外，DeepMind还推出了一个能够预测蛋白质结构的系统：AlphaFold。2018年，AlphaFold首次亮相国际蛋白质结构预测大赛（CASP），在98支参赛队伍中排名第一！第二代AlphaFold的突破在于预测所有原子的三维结构，更快更准确地预测蛋白质结构。目前，DeepMind团队已经将AlphaFold应用于20296种蛋白质，占人类蛋白质组的98.5%。AlphaFold几乎以单个蛋白质单元预测了人类蛋白质组的三维结构，结果相当准确！这本身就是结构生物学的重大突破。OpenAIGPT-3是世界上最受关注的Transformer模型之一。对于即将推出的语言模型GPT-4，虽然规模不会比GPT-3大，但会更侧重于代码生成能力。最近，OpenAI推出了OpenAICodex，这是一种将自然语言翻译成代码的人工智能系统。它是GPT-3的衍生产品，其训练数据包含自然语言和数十亿行公开来源的源代码，包括来自公共GitHub存储库的代码。目前，GPT-3的竞争对手包括EleutherAIGPT-j、BAAI的悟道2.0、谷歌的SwitchTransformer。总而言之，OpenAI希望通过一系列Transformer模型来实现AGI。FacebookFacebook通过基础的、开放的科学研究，启用跨领域的自我监督学习技术，以改进其产品中的图像、文本、音频和视频理解系统。基于自监督学习的预训练语言模型XLM-R，使用RoBERTa架构改进Instagram和Facebook上的多语言仇恨言论分类器。Facebook认为自我监督学习是通往人类智能的正确途径。并通过在顶级会议上公开分享其最新工作和发表文章并同时组织研讨会来加速该领域的研究。最近的一些作品包括VICReg、Text-FreeNLP、DINO等。谷歌是自动化机器学习(AutoML)的先驱之一。它在时间序列分析和计算机视觉等高度多样化的领域推进AutoML。今年，GoogleBrain的研究人员推出了一种基于符号编程的AutoML新方法：PyGlove。应用于Python的通用符号编程库，实现AutoML的符号表示。Google在该领域的一些最新产品包括VertexAI、AutoMLVideoIntelligence、AutoMLNaturalLanguage、AutoMLTranslation和AutoMLForms。为什么当我们对自己说“HeySiri”而不是对别人说“嘿Siri”时，iPhone上的AppleSiri有反应？按理说训练这样的模型会收集我们的语音数据，而数据会保存在iPhone上。但实际上，苹果采用了分布式机器学习的一种形式：FederatedLearning。联邦学习可以有效解决数据孤岛问题。一个统一的模型。这确保了边缘机器学习模型的顺利训练，同时维护了用户数据的隐私和安全。联邦学习由谷歌研究人员在2016年的论文《CommunicationEfficientLearningofDeepNetworksforDecentralizedData》中首次提出，现已被业界各路玩家广泛采用。https://arxiv.org/pdf/1602.05629.pdf2019年，Apple与斯坦福大学合作，发表了一篇名为“ProtectiveRefactoringandItsApplicationtoPrivateFederatedLearning”的研究论文，展示了一种以前不可能实现的实用方法-规模本地私人模型培训。https://arxiv.org/pdf/1812.00984.pdf该研究还探讨了适应大规模图像分类和语言模型的理论和实证方法，几乎??没有效用损失。目前，Apple还在研究各种创新方式，利用联邦学习和分布式替代技术开发注重用户隐私的产品和应用程序。微软研究院是世界顶尖的人工智能实验室之一，在计算机视觉和语音分析领域开创了机器教学研究和技术。随着人工智能应用场景越来越丰富，加上实践中可能出现的数据量小、任务复杂等各种挑战，有时机器学习的结果并不理想，效率低下。为此，机器教学（MachineTeaching）诞生了。人类可以利用自己的专业知识和经验帮助AI更有针对性地学习，帮助强化学习算法更快地找到解决方案。https://www.msra.cn/zh-cn/news/features/machine-teaching此外，在智能方面，微软涵盖了人工智能、计算机视觉、搜索和信息检索等研究领域。在系统方面，它提供有关量子计算、数据平台和分析、安全、隐私和密码学的资源。由于迁移学习方法在Alexa上的出色表现，亚马逊已成为领先的研究中心之一。无论是不同的语言模型、技术，还是更好的机器翻译，亚马逊都在推动迁移学习领域的研究。今年1月，亚马逊研究人员提出了ProtoDA，一种用于概率意图分类的高效迁移学习方法。尽管IBM在机器学习方面处于领先地位，但它在科技公司中失去了领先地位。1950年，IBM的亚瑟·塞缪尔开发了下棋计算机程序（深蓝），这是一台旨在分析国际象棋的超级计算机。1996年2月10日，深蓝首次挑战国际象棋世界冠军卡斯帕罗夫，但以2-4落败。后来，研究团队对深蓝色进行了改良——它有一个绰号叫“depperblue”。并在1997年再次挑战卡斯巴罗夫，最终以3.5-2.5击败对手。到了2020年，IBM开始推进其在量子机器学习方面的研究。目前，IBM正在开发专业硬件和构建电路库，使研究人员、开发人员和企业能够在不了解量子计算的情况下通过量子云服务编写语言。IBM预计在2023年提供一套完整的跨域预构建Run，可从基于云的API调用，并使用通用开发框架。IBM相信它已经与量子内核和算法的开发人员一起奠定了基础，并将帮助企业开发人员独立探索量子计算模型，而无需考虑量子物理学。换句话说，开发者可以自由地在任何云原生混合操作中构建系统、语言和编程框架，或者将量子组件集成到任何业务中。
