ChatGPT背后的开源AI框架Ray现在价值10亿美元，答案备受追捧。大模型应用的出现，让人们对人工智能技术的突破充满信心，但很少有人知道，在其背后，分布式机器学习框架正在为这场生成式人工智能革命提供动力。Ray是A16z支持的初创公司Anyscale的分布式计算框架，它是使OpenAI能够为其训练模型（如ChatGPT）提供动力的关键。Ray支持OpenAI最近的所有大型语言模型——它也可能是OpenAI备受期待的GPT-4背后的框架。随着大模型技术的不断落地，业内人士认为，通过生成贴近人类的内容，一个百亿级的产业正在形成。在这方面，Ray是最有影响力的框架。在它出现之前，OpenAI使用一组自定义工具来开发大型模型。但OpenAI总裁GregBrockman在今年早些时候的Ray峰会上表示，随着挑战的增加，该公司已转向Ray。软件公司Weights&Biases的CEOLukasBiewald认为Ray是AI世界的炙手可热的新人。“由于有了新工具，您可以在笔记本电脑和大型分布式服务器上运行相同的代码。这是一个巨大的变化，随着模型变得更大，它的重要性也会增加，”Biewald说。十亿美元的赌注随着技术的成熟，Ray引起了资本市场的关注。据BusinessInsider报道，知情人士称，Anyscale的股权已成为稀缺商品，其最近一轮融资是价值超过10亿美元的C轮融资的延伸，几天内就结束了。一些投资者将Anyscale描述为霍洛维茨充满希望的“下一个Databricks”——考虑到这家初创公司的联合创始人IonStoica是价值310亿美元的数据巨头Databricks的联合创始人，这种描述似乎是合理的。人们。“人工智能的发展速度令人难以置信，人们一直在尝试新方法，”Anyscale首席执行官罗伯特西原说。“ChatGPT结合了之前在大型语言模型上的大量工作。在此基础上，你需要有一个基础设施，可以实现灵活性、快速创新，并扩展不同的算法和方法。”因为像ChatGPT这样热门的新工具背后是越来越大的模型迫使科技公司重新思考他们从头开始开发人工智能的方式。Ray的诞生是为了让这些海量模型的训练变得更容易，并且可以包含数千亿个数据点，让每一个响应都有一种准栩栩如生的感觉。Ray如何成为机器学习的首选工具Ray是一个基于内存共享的分布式计算框架，适用于细粒度并行计算和异构计算，为管理和分发机器学习模型训练任务复杂任务提供了底层基础设施。2017年，加州大学伯克利分校的研究人员首次提交了Ray的论文《 Ray: A Distributed Framework for Emerging AI Applications 》：论文链接：https://arxiv.org/abs/1712.05889GitHub：https://github.com/ray-project/ray在他们的工作中，研究人员预测下一代人工智能应用程序将是什么样子：一个与环境持续交互并从交互中学习的应用程序。这些应用程序必须越来越多地在动态环境中执行任务，响应环境的变化，并执行一系列操作以实现长期目标。这些特点对运行环境的性能和灵活性提出了新的、苛刻的系统要求，因此研究人员提出了基于分布式的Ray框架。Ray实现了一个统一的接口来表达任务并行和基于参与者的计算，由单个动态执行引擎支持。为了满足性能要求，Ray采用分布式调度器和分布式容错存储来管理系统的控制状态。它是第一个统一训练、模拟和服务的分布式计算框架。基于动态任务执行引擎，统一了角色并行（actor）和任务并行（task）的计算，保证了框架的高扩展性和高性能。容错。雷的建筑。基于这项工作，加州大学伯克利分校的RobertNishihara、PhilippMoritz和IonStoica于2019年12月与伯克利教授MichaelI.Jordan一起创立了Anyscale，迄今为止已筹集了2.6亿美元。机器学习从业者通常可以在笔记本电脑上使用有限的数据集运行小型模型，例如预测用户将购买什么产品的简单模型。但是，对于像ChatGPT这样需要大量服务器进行训练的超大型模型，笔记本电脑是不可行的。使用大量设备训练模型提出了一个重要挑战——协调不同硬件上的训练。而Ray正好解决了这个问题。它为从业者提供了一种将不同硬件作为一个单元来管理的机制，用于确定哪些数据去往何处、处理故障等。硬件类型跨越谷歌云、AWS等。解决相同问题的产品组合。此外，Ray将其他语言中的一个关键编程概念“actor”扩展到了Python，众所周知，Python是机器学习程序的首选语言。作为分布式计算框架，Ray有两个关键优势，即Locality-aware和taskplacement。如下图所示，Ray能够扩展系统以支持高吞吐量细粒度任务，同时保持容错和低延迟任务调度。Ray消除了为OpenAI训练大型模型的大量复杂性，使公司能够腾出时间专注于模型的关键功能。新一代AI需要新的开发工具，而Ray只是新兴的下一代机器学习工具浪潮之一，这些工具正在迅速颠覆AI的开发方式。例如，Google的JAX框架也获得了很多关注。JAX有望成为谷歌核心机器学习工具的中坚力量，并在DeepMind和谷歌大脑中得到广泛采用。同样，由FirstMarkCapital和BessemerVenturePartners支持的初创公司Coiled开发了一种名为Dask的并行计算框架。最近，大规模语言模型正在释放更多潜力，这些新的机器学习工具将为行业技术巨头和初创公司构建更强大的语言模型。
