【.com快译】今天，人们生活和工作在一个越来越以数据为中心的商业环境中，数据驱动着技术领域的重大变革。从在工业环境中部署物联网设备到遵守欧盟的GDPR法规，“大数据”现在已成为各行各业组织数字化转型项目的核心。大数据是各种规模的组织面临的主要挑战。组织需要采用大数据技术来挖掘潜力，平滑流程，提高效率，并为最终用户提供服务。人们使用“大数据”一词来指代其业务核心的大量信息。这些数据太大、太复杂且难以使用传统方法进行处理，因此希望利用大数据技术的组织必须使用更强大的分析工具。采用这些工具将确保组织可以根据数据收集来处理和存储数据，并实时生成结果。大数据项目的关键要素包括数据存储、数据挖掘、数据分析和数据可视化，这些关键要素中的每一个都为组织提供了各种创新技术和高科技工具。1.数据存储以云为中心的存储工具是确保组织可以存储更多数据的关键，它提供了多种选择，使组织能够以安全和可访问的方式保存数据。Hadoop这是一个开源平台，通常通过集群存储大型数据集。Hadoop支持结构化和非结构化数据以及可扩展性，因此对于可能需要短期额外容量的组织来说，它是一个不错的选择。该平台还可以毫无延迟地处理大量任务。总的来说，对于需要开发人员资源的组织来说，采用Java是一个不错的选择。MongoDB对于结合使用半结构化和非结构化数据的组织非常有用。例如，开发移动应用程序的组织可能需要存储与产品目录相关的数据，或用于实时个性化。RainStorRainstor不仅可以简单存储大数据，还可以对数据进行压缩和去重，压缩比甚至高达40:1。压缩过程中不会丢失任何数据集，因此如果组织想要利用存储节省，这是一个很好的选择。Rainstor在Hadoop中原生可用，它使用SQL来管理数据。2.数据挖掘数据存储后，组织需要投资工具来帮助他们找到信息进行分析或可视化。这些工具中最重要的三个将帮助组织提取他们需要的数据，而不必手动处理所有数据（如果处理数千条或更多记录，人类无论如何都不可能完成这项任务）。SPSSModelerIBM的SPSSModeler可用于通过其可视化界面而不是通过编程来构建预测模型。它涵盖文本分析、实体分析、决策管理和优化，并允许在整个数据集中挖掘结构化和非结构化数据。KNIMEKNIME是一个可扩展的开源解决方案，拥有1,000多个模块，可帮助数据科学家挖掘新见解、做出预测并从数据中发现关键点。可以读取文本文件、数据库、文档、图像、网络，甚至基于Hadoop的数据，因此如果混合数据类型，它是一个完美的解决方案。它具有广泛的算法和社区贡献，提供全套数据挖掘和分析工具。RapidMinerRapidMiner是一种开源数据挖掘工具，使客户能够使用模板而不是编写代码。这使得它对于没有特定资源的组织或那些正在寻找工具来挖掘数据的组织来说是一个有吸引力的选择。还提供免费版本，但仅限于1个逻辑处理器和10,000个数据行。该工具还为机器学习、文本挖掘、预测分析、业务分析提供环境，以在整个过程中提供帮助。3.数据分析组织如何获得所需的数据？现在是时候寻找强大的工具来分析数据，以收集对组织业务、客户或整个世界的关键见解。以下是一些主流的数据分析工具。ApacheSparkApacheSpark可能是最著名的大数据分析工具之一，它将大数据置于一切的最前沿。它是开源的、高效的，并且适用于所有主要的大数据语言，包括Java、Scala、Python、R和SQL。它也是各种规模的公司使用最广泛的数据分析工具之一，从小型企业到公共部门以及苹果、Facebook、IBM和微软等科技巨头。ApacheSpark使数据分析更进一步，允许开发人员在一个地方使用大规模SQL、批处理、流处理和机器学习，以及图形处理。它还非常灵活，可以在Hadoop（最初为Hadoop开发）、ApacheMeso、Kubernetes上运行，也可以作为独立平台或在云中运行，适用于各种规模和所有行业的企业。Presto与ApacheSpark一样，Presto是一个可以使用分布式SQL查询的开源工具，旨在对数据运行查询，并作为一个强大的交互式分析引擎。它既支持非关系数据源，如Hadoop分布式文件系统(HDFS)、AmazonS3、Cassandra、MongoDB和HBase，也支持关系数据源，如MySQL、PostgreSQL、AmazonRedshift、MicrosoftSQLServer和Teradata，使它成为运营这两种类型数据库的企业的有用工具。它也被像Facebook这样的大公司使用。事实上，社交网络是其发展的主要贡献者，Netflix、Airbnb和Groupon也参与其中，使其成为世界上最强大的数据分析工具之一。SAPHANA数据分析只是SAPHANA平台的一个方面，但它做得很好。SAPHANA支持来自同一位置的文本、空间、图形和系列数据，并与Hadoop、R和SAS集成，帮助组织根据有价值的数据洞察力做出快速决策。TableauTableau结合了数据分析和可视化工具，可以通过服务器或在线使用。它的在线版本高度协作，这意味着员工可以轻松地与组织中的其他人分享他们的发现。交互式可视化让每个人都能轻松理解信息，借助TableauCloud的完全托管选项，它不需要任何资源来配置服务器、管理软件升级或扩展硬件容量。SplunkHunkSplunkHunk是一款功能齐全的数据分析工具，可以生成图表和数据的可视化表示，所有这些都通过一个仪表板进行管理。可以通过SplunkHunk的界面查询原始数据，而可以通过其界面快速创建和共享图形、图表和仪表板。它还适用于其他数据库和商店，包括AmazonEMR、ClouderaCDH和HotronworksDataPlatform等。4.数据可视化并不是每个人都擅长从数据点列表中得出关键见解或理解它们的含义。呈现数据的最佳方式是将其转化为数据可视化，以便每个人都能理解其含义。以下是一些顶级数据可视化工具：PlotlyPlotly支持从使用JavaScript、Python、R、Matlab、Jupyter或Excel分析的数据创建图表、演示文稿和仪表板。其强大的可视化库和在线图表创建工具使使用高效的导入和分析GUI轻松创建漂亮的图表。DataHeroDataHero是一个易于使用的可视化工具，可以从各种云计算服务中提取数据并将数据注入图表和仪表板，使组织更容易理解洞察力。由于不需要编程，因此适用于不雇用数据科学家的组织。通过QlikView提供的功能集，QlikView允许其用户使用自助服务工具从各种数据源创建数据可视化，而无需构建复杂的数据模型。组织可以在自己的分析平台上运行QlikView，提供直观的可视化效果，并且可以与其他人共享其平台，以便基于数据揭示的趋势做出协作决策。更高级的功能允许QilkView的可视化分析嵌入到应用程序中，而仪表板则指导用户生成分析报告，而无需他们具备数据科学知识。原标题：最好的大数据技术，作者：ClareHopping
