在过去的两个月里，全世界的网友都在狂热地“扭捏”ChatGPT，但第一个受不了的却是ChatGPT的主人。为了更长期的发展，OpenAI宣布了ChatGPTPlus的付费订阅版本，每月收费20美元。虽然OpenAI表示会继续提供免费版本，而收费项目也会更好地“帮助尽可能多的人使用免费服务”。不过，《纽约时报》也指出，“在高峰时段，免费版的访问量会受到限制。”显然，收费将是ChatGPT等AI服务长远发展的必然选择。根本原因在于ChatGPT“越来越聪明”的背后，需要庞大的成本支撑。其中算力成本最为重要，也是不能偷工减料的部分。那么，ChatGPT需要支持多大的计算能力呢？一、“吞金兽”ChatGPT的算力消耗ChatGPT的算力消耗主要分为三个场景：一是模型预训练过程，这是ChatGPT最消耗算力的场景。ChatGPT使用预训练语言模型。在Transformer模型架构下，语言预训练过程可以根据上下文一次性处理所有输入，实现大规模并行计算。通过堆叠多个解码模块，模型的层级规模也会增加，可携带的参数数量也会同步增加。相应地，模型训练所需的计算能力也更大。根据OpenAI团队在2020年发表的论文《Language Models are Few-Shot Learners》，训练一个1746亿参数的GPT-3模型所需的算力约为3640PFlop/s-day。即如果每秒计算1万亿次，需要计算3640天。考虑到用于ChatGPT训练的模型是基于GPT-3.5模型进行微调的。GPT-3.5模型增加了参数数量和训练样本数量，包含超过1746亿个参数。据估计，训练ChatGPT所需的算力至少需要3640PFlop/s-day左右的算力。东吴证券研报分析，ChatGPT的优化主要来自模型的增加以及由此带来的算力提升。GPT、GPT-2、GPT-3的参数从1.17亿增加到1750亿，预训练数据量从5GB增加到45TB。GPT-3的单次培训费用高达460万美元。同时，模型开发过程很难一次成功。整个开发阶段可能需要多次预训练过程，因此对算力的需求是持续的。此外，从大型基础模型迁移到特定场景的过程，如基于ChatGPT构建大型医疗AI模型，需要使用特定领域的数据对模型进行二次训练，这也会增加训练计算能力的需求。二是模型迭代过程。从模型迭代的角度来看，ChatGPT模型并不是一成不变的，而是需要不断地进行模型调优，以保证模型处于最佳的应用状态。在这个过程中，一方面，开发者需要对模型参数进行调整，保证输出的内容无损失真；另一方面，需要根据用户反馈和PPO策略对模型进行大规模或小规模的迭代训练。因此，模型调优也会给ChatGPT带来算力成本，具体的算力需求和成本多少取决于模型的迭代速度。三是日常运营流程。在日常运营过程中，用户交互带来的数据处理需求也是相当大的算力支出。考虑到ChatGPT面向全球大众，使用的人越多，带宽消耗越大，服务器成本也会越高。根据SimilarWeb数据，2023年1月ChatGPT官网总访问量为6.16亿。据《财富》杂志报道，用户每次与ChatGPT交互，算力云服务的费用约为0.01美元。以此计算，对应的ChatGPT每月运营成本约为616万美元。由上可知，训练一个1746亿参数的GPT-3模型需要3640PFlop/s-day的算力和460万美元的成本。假设单位算力成本固定，计算ChatGPT单月运行所需的算力约为4874.4PFlop/s-day。直观的对比，如果用一个总投资30.2亿、算力500P的数据中心来支撑ChatGPT的运行，至少需要7-8个这样的数据中心，基础设施投资在几十万数十亿。当然，基础设施可以通过租用来解决，但算力需求带来的成本压力依然巨大。随着国内外厂商陆续进入市场开发类似的大尺寸机型，对算力的需求将进一步增加。2、AI算力争霸时代来临。模型算力需求增速超过芯片性能增速，算力争霸时代或将到来。根据OpenAI的测算，自2012年以来，全球头部AI模型训练的算力需求在3-4个月内翻了一番，头部训练模型所需的算力每年增长10倍之多。摩尔定律认为，芯片计算性能大约每18-24个月翻一番。数据显示，从2012年到2018年，训练AI消耗的算力增长了30万倍，而同期摩尔定律仅增长了7倍。因此，AI训练模型的算力需求增长与芯片计算性能增长的不匹配可能会带来算力基础设施供需的快速增长。考虑到算力对人工智能模型训练效果的关键作用，拥有更丰富算力资源的模型开发者或许能够训练出更好的人工智能模型。所以现在有一种说法：AI已经进入算力霸权的新时代，每个人都需要用千倍、万倍的算力来训练出世界上最好的算法。所以不管涉及到谁，他们都需要回答一个问题：如何解决算力成本？在中国，这个答案就隐藏在国家如火如荼推进的“东算西算”工程中。数据显示，我国算力产业规模增长迅速，近5年平均增速超过30%，算力规模位居全球第二。但在发展过程中，仍存在人均算力偏低、难以满足按需处理能力需求、算力应用广度和深度不足等问题。为此，国家“东算西算”工程建设新型国家综合算力网络，优化数据中心建设布局，有序引导东部算力需求向西转移，发挥东算力优势。西部资源优势为数字中国的发展提供保障。低碳、低成本的优质算力。对于AI行业来说，“东算西算”也可以变成“东算西训练”，即可以将训练算力的巨大需求完全转移到算力成本更低、成本更低的西部数据中心。更有利的规模。.相应地，这些承载智能训练的数据中心也将进行针对性的改造，以更好地满足智能训练的需求，如供能、散热结构、机柜形式等，更适合使用量大的服务器智能训练芯片等。这也为数据中心未来的发展提出了新思路。数据中心建设将告别千篇一律的通用时代，进入面向场景、面向应用的“专用”时代。“东数西训练”、“东数西渲染”、“东数西存”等应用将成为主流方向。目前，我国算力产业仍在高速增长。IDC和浪潮资讯联合发布的《2022－2023中国人工智能计算力发展评估报告》，与我国2020年135EFLOPS算力总规模相比，2022年我国智能算力规模将翻近一倍，达到268EFLOPS，超过通用计算能力；预计未来5年我国智能算力规模年复合增长率将达到52.3%。未来，我国应在算力方面进一步加强超级计算中心、智能计算中心、边缘数据中心的建设，不断满足政府、行业、企业乃至个人在多样化智能场景下的需求，以算力赋能智慧城市和智慧城市。医疗、智慧农业等各产业高质量发展。不仅如此，大力加强自主可控的高端芯片产能建设，力争在量子芯片领域实现变道超车，加强算力人才培养，也是保持我国人工智能领先的重要手段。计算能力。
