当前位置: 首页 > 科技观察

大数据对数据中心意味着什么机遇?

时间:2023-03-14 00:52:04 科技观察

“大数据”需要大量的计算资源来存储、组织、处理和报告结果。这个新兴领域改变了数据中心服务器和其他基础设施的选择和部署方式。为了在当今的商业环境中竞争并取得成功,公司必须对现有数据进行多维分析,以便做出商业决策。分析这些不断膨胀的大数据已经成为越来越重要的趋势和机遇。SearchDataCenter咨询委员会将介绍受大数据影响的商业模式、它如何改变企业数据中心的运营,并提供对新数据中心机会的独特见解。只需添加SAN独立培训师和顾问SandervanVugt大数据实际上并不是一个非常严重的问题。我的意思是,数据中心不会因为大数据的到来而突然改变它们处理海量数据的方式。我的想法相当简单:只需添加另一个存储区域网络(SAN),今天的SAN比早期更具可扩展性。这意味着企业可以开始学习在两种不同级别的存储网络中处理数据:一种用于他们正在使用的关键数据,另一种用于仍需要保留的不太重要的数据。业务应用将带来越来越多的大数据机会CliveLongbottom,IT研究分析公司Quocirca创始人兼IT研究与服务总监我们还处在真正企业级大数据的起跑线上,还有很长的路要走去。如今,数据中心使用存储虚拟化来组织联合数据源。商业智能(BI)提供更先进的大数据处理解决方案,如Pentaho、Logi、QlikTech和Birst。基于Java的编程框架Hadoop被更高级的企业用作处理多种数据类型的非持久性过滤器。MongoDB和CouchBase等NoSQL数据库已成为处理非结构化数据的有效工具。管理工具是Splunk,可以辅助管理服务器之间的数据文件。这些工具中的每一个都需要有自己的基础设施支持,并经过精心设计才能达到预期的效果。分析和服务提供商不断涌现,提供BI和云计算功能——许多组织最终将朝着这个方向发展,以避免混合环境的复杂性。IBM、Teradata、EMC和其他公司提供混合设备以满足业务需求,允许用户将所有数据保持在线并从外部来源获取额外信息。混合设备处理架构处理中间数据和非结构化数据。处理方式比现在的大数据结构更加工程化,但是成本也相当高。选择好的服务器、存储和架构高级技术编辑StephenJ.Bigelow选择数据分析工具,比如Hadoop和MapReduce软件,可以将任务分发到数千个节点(处理器)进行计算,并负责将结果收集起来.软件采用的高扩展性任务分布式计算解决方案,与传统的单线程执行有着根本的区别,这意味着大型服务器拥有最高和最高的计算能力。可以假设大型服务器也拥有最多的处理器核心,比如Intel的XeonE7-8800v2处理器,拥有15个核心,支持超线程。数据中心可以通过购买这些服务器来解决大数据计算和处理的问题。RISC处理器是许多大数据服务器的另一种选择,它提供了大量的处理器内核,同时产生的热量比传统的x86处理器少得多。戴尔开发了基于CalxedaARM芯片的Zinc服务器来支持企业应用。虽然更多的处理器需要额外的内存空间来处理和存储结果,但大数据更专注于计算任务,因此服务器的总内存可能非常大,甚至超过数百G。比如HP的ConvergedSystem的VerticaAnalyticsPlatform有128G内存,IBM的SystemxforHadoop参考架构要求服务器有384G内存。大数据服务器还可以集成图形处理单元,比如NVIDIA的TeslaK40,因为GPU是为处理复杂的数学计算而设计的,比如双精度浮点计算可以达到1.4Tflops(1TFLOPS(teraFLOPS)等于1每秒。万亿(=1012)次浮点运算)。大量数学计算可以从多个处理器卸载到单个GPU,无需额外的系统内存。任何大数据平台在评估时都必须考虑基础设施,例如网络和存储。多端口NIC可以帮助在服务器之间分配工作负载。从千兆以太网升级到10兆以太网可以在大数据环境中实现更高的利用率。还必须有足够的交换机端口(千兆或10兆以太网)以满足所有服务器端口的连接要求。此外,IT架构师还可以考虑将每台服务器的端口分配给不同的交换机,以构建更强大和可用的环境。数据中心可能需要为更新型号的网络交换机增加预算。Hadoop和其他大数据应用程序通常通过使用本地存储和独立处理器而不是共享存储来提高性能。将磁盘任务分配到多个磁盘上独立运行可以最大程度地减少磁盘延迟。也可以考虑用固态硬盘代替传统的机械硬盘,甚至可以使用速度更快的基于PCIE接口的SSD加速卡来提升性能。