当前位置: 首页 > 科技观察

宜信韩峰:70后数据库老司机分享17年从业经历

时间:2023-03-18 01:31:39 科技观察

[.com原稿]宜信成立于2006年,总部位于北京,是一家积极从事普惠金融和财富管理的金融科技公司。布局支付、网贷、众筹、智能投顾、智能保险、区块链等前沿领域,通过企业孵化和产业投资参与全球金融科技创新。公司的创始人兼CEO是唐宁。2012年P2P风靡中国之际,宜信作为国内第一家P2P平台,已经在该领域深耕6年。美国时间2015年12月18日上午9时30分,宜信旗下P2P网络借贷平台宜人贷正式登陆纽交所。IT老手韩峰第一次见到韩峰时,穿着很随意,这也是大多数IT人员的常态。1999年毕业后,已经是IT圈的老手了。早年从事软件开发工作,逐渐对数据库产生兴趣。工作后的第七年,韩峰做出了从软件开发转型为DBA的决定。从最初的数据库基础运维,到后续的优化、设计、架构。现在主要精力从事数据相关的架构、开发、管理。在他17年的IT职业生涯中,经历过传统软件开发商、国外通信公司、互联网公司、电商平台等各类公司。对他来说,丰富的职业经历让他受益匪浅。不仅在技术上,而且更全面。此外,他还经常活跃于各种技术社区。作为一名技术布道者,他也非常愿意将技术传播给更多的人。闲暇之余,他坚持写作,将多年的心得整理成书。宜信的转型之路韩峰表示,作为一家金融科技公司,宜信的技术不言而喻。目前,公司IT基础设施和数据库处于以下几个阶段:l基础设施的发展经历了物理机、虚拟机、容器化和云化的过程。l在硬件平台上,计算层以X86为主,存储层逐渐放弃使用商业存储,取而代之的是分布式方案。在某些场景中,还使用了超融合架构。l数据库方面,以MySQL、MongoDB、Redis为主。l大数据:使用Hive、HBase、ES、Spark、Storm、Impala、Kafka等。关于云战略,该公司有自己的一些计划。目前还是以私有云为主,只把部分业务放在公有云上,但也只是少量的非核心业务。宜信也在规划自己的金融云战略。对于超融合技术,韩峰表示,使用它的目的是提高易信在线服务的效率。超融合可以提供很好的弹性,但是性价比不高。而弹性达到一定规模后,就会受到限制。在特定的非发展阶段,中小企业如果想快速拓展业务,采用超融合更为合适。在数据库方面,越来越多的公司正在考虑使用开源数据库解决方案,尤其是MySQL,以及一些NoSQL解决方案,如Redis、MongoDB。对于大数据领域,从早期的传统数据分析报告,到BI分析、数据挖掘、机器学习等,宜信不断探索实践,探索如何在金融领域提供更好的服务。旗下宜人贷的“极速模式”是风控模式在大数据领域的一次成功实践。数据库迁移的启示作为数据库的老手,韩峰的体会颇多。他特别强调,数据是企业的命脉,数据库的重要性怎么强调都不为过。他以一个数据库迁移为例,给我们讲解了DBA工作的难点以及给我们带来的各种启示。详细的技术方案。在整个迁移过程中,最耗费精力的就是梳理整个迁移过程:包括规范的制定、迁移流程、与各相关部门的方案核对。实施计划。具体到实施方案要尽可能详细、完善。例如,有很多应用连接到数据库,但是有些IP地址没有包含在注册信息中。因此,在迁移准备期间需要注意故障排除。这项工作非常累人,并显示出以前工作的不完善之处。部门合作。与相关部门核对迁移方案,做好沟通协调。制定一个计划。在迁移之前,团队做了很多计划,包括正常的迁移流程,出现问题时的备份迁移流程,以及备份回滚计划。正式迁移前,团队大约每周排练一次,排练四五次,每次都在半夜。演练结束后立即做记录,包括其操作步骤,一步步细化,最终形成厚厚的迁移文档。***,实际迁移的时候基本不用敲命令,直接把脚本粘贴过来即可。DataManagementMethodology韩锋再次强调,过去专利、技术或运营模式是企业的命脉,未来数据也将是命脉之一。企业如果没有数据,就只能被动发展,所以数据管理就显得尤为重要。对于企业来说,数据不仅仅存在于数据库中,它可以以各种形式存在于不同的地方。它可能是一个文件,可能是一个扩展片段,可能是多个用户上传的图片,也可能是用户的一些声音。这些数据不仅分散在它们的位置上,而且还具有不同的形式和价值。面对复杂的数据,如何管理数据?首先,企业管理者要高度重视数据;其次,他们需要对数据有透彻的了解,了解它们在哪里,如何存在,以及它们的价值;只有这样,它们才能涉及数据管理问题。常见的管理方式主要分为三类:自上而下。传统的企业、银行、证券、金融经常这样做。也就是成立一个类似于建模室或者数据模型部门的组织,然后会有专业的人来帮助他们进行模型设计和规范。这种方式对数据的控制会很好,但是会有些不灵活,人力投入也太大。自下而上。像很多互联网公司一样,他们通常有自己的系统,对商业模式进行自下而上的管理。从中间开始。也有一些公司,从开发开始,引入一些建模工具,通过这些工具向上引入业务模型,向下构建物理模型。以上方法在易信中都会有问题。与传统企业不同,宜信发展速度比较快,所以会有大量的业务需求变化,自上而下行不通;而自下而上多用于单一的业务系统,它是基于数据仓库的。但是易信的数据仓库并不统一;易信很多开发都没有用到建模,所以很难从中间做数据建模。目前,他正在探索适合宜信发展的数据管理方式。考虑到大方向,他会选择自下而上的方式去做。出发点是取公司内部数据的共享部分和非独占部分,然后收集各自领域的数据,最终逐步形成统一的数据视图。DevOps在宜信数据库的应用韩峰将DevOps在宜信的应用阶段简化为“四个现代化工程”。所谓“四化工程”,是指以下四个层次。在很多企业实施DevOps的过程中,大致经历了类似的阶段。第一阶段,“文档化/标准化”阶段在这个阶段,企业在经历了最初的“人肉”模式后,随着规模的扩大,运维会遇到很多问题。因此,将原来的手工操作逐步规范,形成操作标准,并通过文件化的步骤沉淀标准。后续操作,人员只需按照文档操作即可。这样既保证了运维质量,又提高了响应效率;第二阶段,“脚本/工具化”阶段,虽然在第一阶段已经实现了指定的标准文档化,但是运维工作还是需要大量的人力成本。当运维量进一步增加时,如何减少人工操作,加快运维效率成为重点。因此,现阶段将文档化的标准操作以脚本或工具的形式固化,可以大大提高运维效率;第三阶段,虽然在“自动化/平台”阶段可以通过工具脚本完成运维工作,但仍然需要人工触发。为了完成一个特定的运维场景,往往需要手动执行一系列的脚本或者工具调用,这也消耗了大量的人力成本。为了进一步提高效率,可以考虑引入平台自动化。通过梳理运维工作,将一系列工具和脚本整合到一个统一的平台,完成整个运维操作,甚至可以与监控等系统联动,实现自动化运维动作;第四阶段,“智能化/云化”阶段这个阶段更多的是从运维智能化的角度和资源提供的形式。在自动化运维的基础上,通过引入智能分析能力,可以预测故障的发生,并采取主动的运维行动。评估整体资源使用情况,更合理地分配资源等等。至于云化,因为对基础设施进行了抽象,可以在运维层面提供更大的灵活性,可以更好地满足业务的快速发展,实现成本效益最大化。他表示,大数据不再是新兴技术。什么是大数据?韩峰认为,指的是某个阶段面对的数据无法处理,他将一种新的处理方式命名为大数据技术,但对我们来说,它只是一种数据处理技术。“大和不大,会随着时间的推移而改变。今天的大,明天不一定大。另外,现在很多数据库越来越关注大数据,大数据也是在向数据库学习。在传统的数据库中,有对于一些大数据技术,大数据也会嵌入到数据库中,传统数据库有30到40年的积累,对数据的精确控制程度远超大数据平台,在单位生产效率上,大数据平台需要的比传统数据平台要低,那么大数据平台现在应该学什么?学习如何优化系统,学习如何更准确地查找和发现数据。***,他认为数据库只是一个数据的形式,数据可以存储在图书馆,也可以是大数据平台,也可以是其他形式。新的硬件技术、大数据、人工智能、云计算等将为图书馆的发展提供可能。数据库酶。但在未来,它会发展成什么?,现在很难下定论。【原创稿件,合作网站转载请注明原作者及出处为.com】