阿里云生态金融科技行业标杆——作者|胡洋(远景数码)2021年,云原生的商业价值正在加速释放。公认的事实是,Serverless是当前云原生方向的绝对亮点。可见,它的出现让企业用户真正减轻了运维的负担,更加专注于业务本身。也就是说,企业可以基于按需付费的模式降本增效,实现技术商业价值的最大化。在这波技术与业务互补的浪潮中,VisionScience就是一个明显的案例。VisionVision基于阿里云Serverless应用引擎(SAE),全面升级为云原生架构,为云原生在金融科技行业的应用提供最佳商业实践模型。远景远景成立于2014年,是国内首家专注于服务一级市场、企业征信、产业规划与招商、多层次资本市场的大数据金融信息服务商。不同于其他toC的操作逻辑,远景数字将数据产品与金融行业的使用场景深度绑定,推出一系列业务功能模块。随着业务的不断升级,远景数据从为金融机构提供数据信息服务起家。近年来,其客户逐渐扩展到服务于政府、产业园区、大型国有企业集团等,数据覆盖范围也逐渐从金融相关数据扩展到工业产品。数据、企业经营数据、宏观经济数据、政务数据、政策民意数据、地理信息数据等,围绕客户数字化转型,为客户提供数据销售、数据集成、数据处理、数据中台、系统开发和大数据模型分析咨询服务的整体数据服务解决方案,助力中国产业数字化转型。除了金融数据提供商的角色,远景远景如今正进入一个多产品线、多服务客户群体的新发展阶段,成为真正的金融行业数据服务解决方案提供商。业务痛点率先,首选阿里云Serverless解决方案。在金融行业体系中,大数据应用场景一直是敏感和复杂的代名词。以数据调用为例,大部分金融机构系统与外网隔离,需要数据服务企业构建更适合该场景的数据服务系统或嵌入满足客户需求的数据功能。面向客户,远景数据不仅提供常规的数据文件/数据同步/API数据服务方式,还以SDK+嵌入式的形式将数据无缝嵌入到客户内部系统中。这样一方面简化了客户的开发成本,另一方面大大减少了客户在实际使用大量外购数据时所投入的开发时间。此外,和很多金融科技公司一样,远景数字是自建IDC+公有云混合部署模式。在上云的探索中,远景数码一直走在行业前列。早在2014年,远景科技就基于阿里云ECS服务器构建了第一代基础设施云,采用开源自建+云产品的组合:整个架构以数据为中心,包括一个基于SaaS的数据服务平台、安全接入与保护、数据服务层、数据处理层、云安全等。作为一家科技行业的初创公司,在创业之初,需要业务快速跑起来。起初,所有应用都是单烟囱架构,手动部署。但由于技术方面的不足,这些架构优化工作一直被拖延。但近两年,此类基于技术架构的问题越来越突出。可见,数据是企业业务的核心资产,数据的安全、稳定、高效是服务大客户的关键。固有模型下,VisionDigital测试环境无法获取全量的真实客户数据,很多case无法覆盖。只能在上线前的灰度环境(相当于预发布)频繁发布&测试的过程中暴露。一些问题:1)开发迭代效率慢:单一的烟囱架构,代码耦合度高,开发效率慢。2)上线流程复杂,成本高:采用SVN代码管理+人工部署,缺乏标准化的DevOps流程。研发、质检、运维三个团队每次上线前都需要在灰度环境下进行大量协作,来回需要20-20。30次数据校验,版本测试频繁,开发运维幸福感差。3)容量预估无法自动化:客户端每次有营销活动/重要事件(如新华财经、财经排行榜等),需要提前一周通知远景科技ECS,存在产能准备不准确和闲置浪费的风险。针对以上问题,远景数码自身技术架构的升级正在进行中。据了解,远景数码内部讨论过两个方案:方案一:ECS自建Docker+开源微服务,发现可以快速容器化&提高资源利用率,但底层基础设施运维(DockerDaemon升级、配置管理)、镜像仓库管理)等)且开发工作量大(自研微服务组件),线上运维风险高。经过简单的POC后,集体决定放弃。方案二:使用商业微服务PaaS平台承载应用。发现可以降低微服务的使用门槛,为微服务组件的稳定性提供保障。但是ECS还是需要自己运维,还是很繁琐,整体成本太高,超出预算。最后在一次技术交流会上了解了SAE。结合当时公司的技术背景,发现SAE与公司的技术升级契合度很高,无需更改代码,无需改变应用现有的部署方式,享受微服务的完整体验+Serverless+K8s开箱即用,也省去了后期运维。VisionScience已经开始了架构升级的实践。技术架构全面升级工欲善其事,必先利其器。在正式迁移业务之前,远景数码做的第一件事就是规范上线流程,希望通过持续集成来减轻负担。1)从0到1打造Git+Jenkins+SAE的云原生DevOps体系。2)通过SAE的低门槛完成微服务架构的改造,一步升级到微服务+K8s+Serverless架构。前期我选择了主线产品——新版防爬识别应用,尝试拆分微服务。拆分后基于SpringCloud标准开发,然后部署到SAE。过程中发现SAE对Java微服务的支持太全面了:客户无需考虑数据隔离、分布式事务、熔断设计、限流降级等,无需担心二次开发由于有限的社区维护,定制开发。开箱即用,大大提高开发效率。并且,SAE在开源的基础上,通过与MSE的深度融合,提供了线上线下无损、服务鉴权、全链路灰度等高级服务治理能力。帮助客户屏蔽K8s技术细节,让客户零门槛容器化,无感拥抱K8s。在践行SAE的过程中,采用独立业务+用户灰度的策略,逐步放大流量,陆续上线一些业务,然后迁移历史存量应用。持续演进,打造金融级云平台由于金融行业的特殊性,在ECS架构升级为Serverless架构的过程中,其实一开始我还担心SAE无法满足金融安全的监管要求遵守。不过经过和SAE同学的沟通确认,以及SAE产品的不断进化,完全打消了对视力的顾虑。1)安全合规:ECS模式下使用的云盾、防火墙、DDOS、堡垒机等安全防护产品仍然可以使用,SAE也提供入侵检测和漏洞扫描。SAE后期还支持部署容器镜像服务企业版,支持镜像安全扫描和多维度漏洞上报,保障存储和内容安全。2)安全隔离:SAE同学跟用户说没有流量流入,选择JDK做Dragonwell,以后也会支持通信加密。底层基于安全沙箱容器+VPC网络,可实现系统+网络+数据的多重安全隔离。3)操作审计:对于SAE上的一些操作,可以通过SAE独有的发布顺序追溯变更历史。同时,SAE还接入云产品的操作审计,可以查询云端所有的操作行为日志和增删改事件。4)权限控制:SAE也解决了一个长期存在的问题:权限隔离和审批。以往在ECS模式下,尤其是新人上班或跨团队联调时,配置用户组、RAM权限、登录连接新机器非常繁琐,客户经理往往成为瓶颈.更重要的是运维操作没有审批,风险不可控。开发有机器的用户名和密码,发布比??较随机。使用SAE后,可以应用粒度添加权限,一个应用一次添加,省心省力。SAE还通过主子账号设计了运维审批流程,有效遏制了随机上线带来的质量风险。运维效率提升60%,效果显着通过与SAE平台的不断磨合与验证,VisionDigital的部分应用陆续迁移至SAE。整个迁移过程流畅,无任何改造成本,零故障,仅投入一名研发人员。接下来,我们计划将整体架构全面迁移到SAE,充分享受云原生技术带来的好处。打造金融科技行业标杆,企业大数据潜力巨大。当前,金融、工业、农业等诸多行业都处在数字化的快车道上。其中,金融业就足够特殊了。一方面其数据来源较为规范,另一方面金融数据的覆盖面和应用较为广泛,行业对数据的认可度较高。基于服务核心金融机构的经验,远景数据现已在业界享有盛誉,其数据质量获得了业界的一致好评。据了解,远景视觉打造了多个产品线,包括“无场景化”的数据查询平台和基于特定业务场景的业务功能平台。除了行业标准的数据,它还为不同的数据划分了更深更全面的标签。值得称道的是,远景数码在国民经济的100多个产业链、6000多个细分行业、近10万个“产品服务”类目中投入了大量的研究力量,产生了更加准确、完备的行业分类体系。依托数据标签的深度挖掘,构建了对各类企业相关数据的深度处理和重计算能力。综上所述,未来金融科技应用将成为中国金融业新的增长点,科技驱动的金融创新将进一步助力金融和各行各业实现效率的大幅提升。立足于此契机,远景数字也将乘风破浪,在自己的赛道上继续深耕,以产融数据为动力,推动金融行业数字化智能化发展和转型,助力金融新格局。中国金融科技发展。
