当前位置: 首页 > 科技观察

微软数据库一体升级,新技术架构迎接大数据挑战

时间:2023-03-15 18:31:40 科技观察

【采访报道】企业客户越来越重视供应商的整体解决方案交付能力,大数据也不例外。企业需要的是数据采集、存储、分析等众多技术和应用的集合。只能提供单一技术解决方案的IT企业,将在大数据需求不断爆发的过程中接受挑战。在技??术门槛较高的大数据领域,具有传统优势的厂商能否继续占据主流,加速资源整合优化,提出端到端的一体化解决方案变得尤为重要。微软全球卓越中心PDW组负责人RussCavan近日在接受记者专访时提到,微软也在接受大数据带来的挑战,但微软已经做好了准备。2010年,微软率先推出了基于SQLServer2008R2的数据库一体机。目前已经发布了四个更新版本,微软将于2013年初正式推出基于SQLServer2012的并行数据仓库一体机PDW。微软全球卓越中心PDWPDW集团总监RussCavan是专为企业数据仓库设计的高度可扩展的软硬件一体机,采用“大规模并行处理”(MPP)架构。在数据处理方面,基于SQLServer2012的并行数仓提供了全新的PolyBase数据处理技术,实现了传统关系型数据库表和非关系型Hadoop数据表的SQL语句统一查询,可以使用常用的OfficeExcel等工具操作和显示BI分析。PDW采用xVelocity列存技术,查询速度提升近10到50倍,满足实时数据仓库的需求。高密度直连存储,存储容量提升7倍,水平扩展可实现数TB到6PB的线性扩展。“因为是软硬件一体机,内部做了深度优化和集成,在提升性能的同时,架构设计降低了整体成本,PDW可以做到行业每TB成本最低。”微软中国高级产品营销经理郝雪英表示:“我们用1PB的数据仓库进行测试,SQL语句只需要1.5秒就可以完成查询。”目前,PDW的硬件合作伙伴是惠普和戴尔。由于软硬件一体化,并行数仓一体机几乎不需要调整和优化,实现开箱即用,安装速度和数据加载速度快,只需要很少的时间用于服务器调整和优化,缩短部署时间,减少工作量,降低成本。此外,凭借运行大规模查询的能力,企业可以运行更多报告、完成更复杂的分析、处理更大的数据集并更详细地分析数据。国家审计署已选择成为PDW在中国的第一个部署用户。微软高级数据仓库架构师乔毅在接受记者采访时表示:“目前审计业务面临的数据总量已经上升到TB级甚至PB级,数据查询和分析的复杂度也越来越高。”同时,审计需求本身具有随机性和突发性,审计人员需要根据判断对海量数据进行查询、汇总和关联,这就需要大数据的统一高度和并行访问,需要多种计算模型和分析方法,在满足宏观或具体审计目标的同时,“时效性”的要求也不容忽视,审计处的办事效率受到更严格要求的挑战。微软高级数据仓库架构师乔毅与来自微软全球卓越中心PDW组的架构师BrianWalker分享,他负责为美国大型连锁超市HyVee实施了一个PDW项目,并完成了设备一天完成部署和数据导入,并保持与原有数据库平台的兼容性,投入生产使用。PDW并行数仓一体机以更易部署的方式构建分布式存储和计算集群,实现管理并在统一架构下并行处理各种类型和规模的数据,实现按需灵活扩展,支持TB/PB级数据高效加载,满足多源异构数据即席查询、联合查询和复杂关系处理,对大规模审计数据进行快速、深入的分析和挖掘,将成为微软在大数据战略中的重要战略布局。