当前位置: 首页 > 科技观察

第四范式推出开箱即用“AIOS社区版”,助力开发者高效构建智能化应用

时间:2023-03-18 20:05:23 科技观察

第四范式推出开箱即用的“AIOS社区版”,帮助开发者高效构建智能应用争议。但不可否认的是,在企业数字化转型过程中,AI能力不可或缺。人工智能要在企业智能化过程中发挥价值,必须具备集应用、数据、算力于一体的能力模型。三者相辅相成、环环相扣,缺了任何一环都会影响最终的结果。没有应用,海量数据将沦为死数据,算力将无法产生价值。但实际上,AI落地的速度远远跟不上数据的增长速度和算力的投入。第四范式的目标是解决因AI应用门槛高导致三者之间连接受阻的问题。  人工智能落地的“三道坎”:应用、数据、算力  自动机器学习(AutoML)技术可以将特征提取、模型选择、参数调整等复杂的机器学习过程自动化。这项技术无疑有利于降低机器学习应用于实际问题的难度,因此成为近年来人工智能行业最热门的领域之一。第四范式自成立以来,一直致力于研发能够快速构建AI应用的自动化机器学习技术,目前正在努力将这种自动化能力扩展到AI应用的大部分方面。  数据是整个AI系统运行的“原材料”。没有数据,人工智能应用将无根。然而,数据治理的过程异常艰难,占用了数据科学家的大部分时间和精力。但如果有数据形式,可以更快地将原始数据转化为AI-ready数据,一键启动建模和应用。为此,第四范式创建了一种“数据形式”方法论。每种数据形式都定义了相应业务场景所需的数据标准,包括需要什么样的数据,从哪里获取,应该如何处理。  除了应用的快速构建,数据的易用性和算力的价值也很关键。越来越多的AI异构芯片的出现,加速了AI异构计算芯片细分到管理操作系统内核。为此,第四范式研究人员打造了人工智能异构资源调度管理平台AIOSKernel,实现算力资源动态调度和虚拟化功能,助力算力价值最大化。  “三联”赋能企业AI转型  年度发布会上,第四范式企业级AI操作系统SageAIOS升级至2.0版本。同时,第四范式以企业级智能应用市场第四范式SageAppStore为基础,扩展为应用联邦、数据联邦、算力联邦三大网络,全面加速企业智能化转型。  基于应用联邦,企业可以快速组装基于数据和算力共享应用的个性化智能解决方案,加快智能化速度;  基于数据联邦,企业可以更好地保护数据隐私,利用数据提升商业价值;  基于算力联邦,企业可以屏蔽异构分布式算力的复杂性,更好地应对异构AI算力趋势。  目前,第四范式已经与国内外多家服务器厂商进行了深度适配和优化,希望通过软件定义算力,尽可能降低分布式异构算力趋势带来的复杂性。未来,第四范式希望借助第四范式SageAIOS2.0和第四范式SageAppStore,凝聚开放生态和合作伙伴的力量,帮助更多行业快速踏上智能化转型和质变之旅。  开源两大底层技术栈:给开发者最需要的  值得注意的是,第四范式还计划在一年内开源95%的核心技术。发布会上,第四范式面向开发者社区开源了AIOS的两大核心底层技术栈——OpenMLDB机器学习数据库和OpenAIOS人工智能操作系统内核。  OpenMLDB:AmachinelearningdatabaseforAI  机器学习技术的深入往往伴随着机器学习模型的高频演进,这也意味着正确数据供给的重要性不断提升。ML需要实现理性的、即时高效的推理和判断,但无论是事务型数据库、分析型数据库,还是传统的数据仓库,在执行此类任务时都无法保证数据的正确供给。在实际的应用开发和实施过程中,仍然会存在大量的数据遍历、泄露、离线在线不一致、拼接错位等数据问题。  区别于Hadoop、Oracle、MySQL等传统数据库,OpenMLDB是专门为AI设计的机器学习数据库,解决了三大核心数据问题:线上线下一致性、数据闭环、数据时序正确。  一方面,统一的数据存储引擎避免了跨数据库、大脑之间的信息交换;另一方面,通过统一的数据计算引擎,离线和在线使用同一套计算逻辑,保证了线索计算时总结规律和思维方式的一致性;  在时序正确性方面,OpenMLDB通过使用自动时序拼接语法和时序泄漏检测模块避免了错误的数据使用;  在闭环完整性方面,OpenMLDB也进行了针对性的修正。通过自动拼接检测和线索反馈的自动关联,保证了拼接标识的唯一性,避免了数据拼接错位的问题。  OpenAIOS:完全面向AI的分布式操作系统内核  AI除了数据难,在计算、存储、通信等方面也是“丰富的资源”。低效的硬件资源利用也是转型的一部分。大的制约。不同的异构芯片、异构存储、异构通信设备都需要操作系统内核的统一管理和调度,以保证任务的成功率和资源的利用。第四种范式OpenAIOS是一个完全面向AI的分布式操作系统内核,实现了多级计算内核、多级存储内核和多级通信内核,以处理异构计算能力的管理和调度。  在计算能力方面,OpenAIOS的多级计算内核有针对性地设计了硬件间的协同处理策略,将计算任务的工作量进行拆分,并将拆分后的任务分配给不同的专用计算芯片进行处理。  在存储方面,对于存储密集型技术组件,内存和显存不足导致的任务失败是开发者最常遇到的问题。OpenAIOS在不侵入现有应用程序和代码的情况下,在操作系统内部为内存和显存建立了一套多级存储内核,可以通过自动扩展策略和多级缓存机制来扩展存储容量,降低整体存储成本。同时提高了任务的成功率。  在通信速度方面,数据交换效率是关注的重点。OpenAIOS提供了多级通信内核,为机器学习专用的梯度权重交换等环节提供了低延迟、高吞吐量的通信框架,并为异构加速器提供了专用的通信协议,减轻了数据通信的压力。  下一步:如何推动AI带来的量变到质变OpenAIOS,社区和开发者可以在免费的在线算力和应用开发环境中体验和学习。它还支持多种本地IDE,让大家可以将分布式任务无缝连接到异构的云资源,同时保持在PC上开发单机应用程序的体验。在应用开放性方面,AIOS社区版除了内置核心应用外,还提供了应用商店,可以支持所有云原生第三方应用。  对于人工智能发展的预期,第四范式创始人兼CEO戴文元提到,技术改变行业最重要的是能否找到临界点。跨过这个临界点,想象空间就会变得无限大。在他看来,下一阶段最大的挑战是如何将AI带来的量变进一步推向质变,让企业真正实现AI转型。率先成功转型的企业,通过AI决策赋能关键业务场景,最终突破业务临界点,实现质变。当人工智能在关键场景得到成功验证后,可以逐步扩展到所有业务领域,最终实现业务运营的质变。【原创稿件,合作网站转载请注明原作者和出处为.com】