当前位置: 首页 > 网络应用技术

功能计算GB镜子第二级启动:下一代软件和硬件体系结构协作优化秘密

时间:2023-03-05 20:56:19 网络应用技术

  2020年8月的功能计算为容器镜提供了一种函数部署方法。WAWSLAMBDA于2020年12月重新发射。2021年6月,其他国内FAAS提供商还宣布了FAAS支撑容器的重量。ColdStart一直是痛苦点FAA。在引入了比代码压缩套件大的数十个倍的容器镜子之后,冷启动已成为开发人员的最大问题。

  在支持容器镜的设计阶段,该功能计算决定允许开发人员体验诸如使用代码包(第二级弹性)之类的镜子。关闭。理想的用户体验是,该功能呼叫几乎感觉到由镜像数据的远程传输。

  优化的镜像加速度冷启动大致分为两种方法:减少绝对延迟并降低了冷启动的可能性。由于容器镜的发布,我们通过镜像图像加速了技术,从而减少了阶段的绝对延迟。在此基础上,,本文介绍了下一代下一代IaaS基础基础裸色金属和安全容器的功能,以进一步减少绝对延迟并大大降低冷启动的频率。

  (以镜子为例)

  第一代体系结构:ECS缺陷机器

  第一阶段(2021年3月):按需加载以减少数据传输

  过去的问题是,在启动图像之前,将镜像的内部数据全部拔出数量,这导致无用的镜像数据被完全下载并占据了太多的准备时间。因此,我们的最初优化方向是忽略尽可能多地在按需加载上实现的无用镜像数据。为此,我们通过镜像来加速技术,省略了删除无用数据的时间,并实现了功能计算的功能细节自定义镜像从第二到第二级升级。

  第二阶段(2021年6月):记录容器实例的I/O轨迹,并在随后的实例启动期间提前推进镜像数据

  我们发现功能实例在容器的开始和初始化阶段很高,并且I/O数据访问模式非常一致。根据应用程序操作模式调度资源,根据FAAS平台的特征,我们记录了脱敏化。启动功能实例时的I/O轨迹数据。当启动后续实例时,将轨迹数据作为提示提示,并且镜像数据是前向当地到当地的镜像数据。

  尽管以上两个加速度的优化大大减少了冷启动的绝对延迟,但由于一段时间后传统的ECS VM将被回收,但在新机器再次启动时将触发冷启动。降低冷启动的频率已成为下一阶段的关键主题之一。

  下一代体系结构:弹性裸金属服务器(女隆)+MicroVM

  在设计下一代体系结构时,我们不仅考虑解决冷启动频率的问题,而且不仅不仅不仅要解决因此,我们不仅不仅。因此,我们创新发明了无服务器缓存,以基于不同的存储服务构建数据驱动,智能和高效的缓存系统,以实现软件和硬件的协同优化,并进一步改善自定义容器体验。后台的函数计算的功能远大于ECS VM的空闲回收时间。对于用户方面,热量启动的频率大大提高了。寒冷开始后,高速缓存将继续保留在女时候的机器上。缓存命中率可以达到90%以上

  与ECS虚拟机相比,裸色金属的体系结构加上微型虚拟机为镜像加速带来了更多优化空间:

  自定义容器的功能计算还改善了资源利用率和降低成本。对于用户和服务器维护,这是胜利的情况。

  Serverless Caching的体系结构提供了更多的优化潜力,同时不增加资源使用成本。

  (L1?L4是不同级别的缓存,从小到大的距离和延迟)

  到目前为止,我们已经将图像加速到更高的级别。我们在公共用例中选择了4个典型镜子,并将其改编为几个大型云制造商(名称A和制造商B代替制造商A,而不是制造商B,制造商B,制造商B)在国外进行水平比较。重复几次,我们得到以下结果:

  1. AI在线推理猫和狗的识别

  该图像包含基于TensorFlow深度学习框架的图像识别应用程序。AlibabaCloud功能计算和制造商A可以正常运行,但是制造商A的性能较差。制造商B无法正常运行。在下面的图中,阿里巴巴云功能计算和制造商A的延迟数据包含镜像图,激活容器,并执行推理计算端的末端-To端的延迟。Essencethefc相对稳定。可以看出,功能计算在CPU消耗类型(例如AI推理)中具有更大的优势。

  根据云板的靴子(灰色),比较每个制造商的其他开销(颜色)

  2. Python烧瓶网络服务

  这镜是一种通用的网络服务,它使用python与烧瓶服务框架。该图像的作用是测试不同的云产品是否能够根据需要完成有效的负载。是最明显的。

  根据云板的靴子(灰色),比较每个制造商的其他开销(颜色)

  3. Python机器学习操作

  镜子也是Python的操作环境。可以看出,每个制造商仍然保持着自己的特征。下载了全部数量的制造商B。制造商A的一部分是优化但不稳定的。

  根据云板的靴子(灰色),比较每个制造商的其他开销(颜色)

  4.柏树无头铬

  此图像包含无头浏览器测试过程。由于编程模型和不兼容的操作环境,制造商A无法运行。制造商B只能在指定时间内的71.1秒内完成应用程序初始化。不难看到该功能计算在该功能中仍然具有良好的性能I/O的图像。

  基于云的设置(灰色),与各种制造商的额外开销(颜色)相比,绿色部分是末端到末期的时间 - 累积时间消耗。

  支持容器技术是FAA的必要特征。该容器可提高移植性和敏捷性的交付,而云服务则降低了操作,维护和闲置成本,并提供灵活的扩展能力。自定义镜像和功能计算的组合解决了用户带来了云制造商的大型业务逻辑的问题定制大型业务逻辑。

  当FAAS运行容器时,有必要尽可能消除其他开销,并且用户体验与本地操作场景相似。稳定且快速运行也是出色的FAAS的标准。FC提供了镜子加载优化,并大大降低了冷启动频率,以提供稳定和快速操作的保证。不仅如此,在应用程序的移植中,它甚至更加平滑。它不仅限于开发模型,同时还要减少用户使用的阈值。功能计算自定义镜像支持标准HTTP服务,免费配置可用端口,也可以编写可读的端口,提供多个工具链和多元化的部署解决方案。其他云服务支持一系列高质量解决方案,例如自定义域名。

  功能计算自定义镜像图像适用但不限于人工智能推理,大数据分析,游戏结算,在线课程教育,音频和视频处理等。建议使用Alibaba Cloud Container Serigrprise企业的ACR ACR版本EE具有自己的镜像加速功能,消除了使用ACR镜子时手动打开加速拉动和加速镜面准备的步骤。

  AI/ML在线推理

  推理计算取决于大容量的基础培训框架和大量数据处理。普通的AI框架(例如Tensorflow的镜子)可以轻松地达到GB级别。CPU要求已经很高。满足扩展能力更具挑战性。功能计算自定义镜像可以很好地解决此类需求。用户只需要直接使用基础培训框架镜子即可用数据处理逻辑包装到新镜子上。与功能计算无缝连接以实现弹性,以满足大量动态的在线推理请求。

  轻巧的灵活ETL

  服务取决于数据,数据处理通常需要大量资源来满足高效率和快速数据更改请求。custom镜子可以在数据处理过程中满足其他功能的安全隔离,同时保留方便用户对镜像中数据处理部分的免费业务逻辑的功能。它提供了平稳的迁移,并满足了镜像启动的极低扩展。它满足用户对用户的安全性,高效和弹性数据处理需求,例如数据库治理和所有对象。

  游戏战争解决

  玩家的数据结算单元不会随着玩家的数量而恶化。这种类型的数据处理的业务逻辑通常很复杂且高度重复。将播放器数据处理的逻辑包装到自定义镜像的功能计算中可能是弹性的,并满足短期类似的玩家结算请求。

  优化计算自定义镜的功能的最初意图是允许用户不感受到容器镜传输带来的额外延迟,并给予Yunyun开发人员的最极端体验。优化不会停止。我们的最终目标是消除容器镜像图像的额外开销,并在扩展时消除镜像仓库的大量容量。在同一时间,自定义容器功能将在将来帮助Kubernetes上的Web应用程序。Kubernetes负责处理居民稳定的工作负载。无服务器服务共享大量计算将逐渐成为云本地的最佳实践。

  作者:XIU来源:阿里巴巴云