【.com快译】数据挖掘（Datamining）是利用智能方法从数据中提取实用信息，解释数据，发现数据中的模式和关系，预测趋势和行为过程。这个过程往往涉及数据清洗、机器学习、人工智能、数据分析、数据库系统、回归与聚类等信息统计技术。显然，数据集越大越复杂，我们就越容易通过自动化分析工具找到相关意义。通过识别和理解有意义的数据，用户公司可以做出各种明智的决策并实现他们的目标。数据挖掘的基本步骤我们可以将数据挖掘应用于各种场景，例如：市场细分、趋势分析、欺诈检测、数据库营销、信用风险管理、教育和财务分析。尽管各个组织使用的方法可能有所不同，但总的来说，数据挖掘过程通常包括以下五个步骤：根据既定目标，确定业务需求。识别数据源以确定需要分析哪些数据点。选择并应用建模技术。评估模型以确保它符合既定目标。报告数据挖掘的结果，或者继续一个可重复的数据挖掘过程。数据挖掘和数据仓库的区别数据仓库是收集和管理数据的过程。它将来自各种来源的数据存储到一个存储库中，供CRM系统等运营业务系统使用。该过程通常发生在数据挖掘之前，其好处包括：提高源系统中的数据质量、保护数据免受源系统更新、集成多个数据源的能力以及数据优化。数据挖掘工具如前所述，数据挖掘过程涉及各种技术，包括流行的技术：回归分析（预测）、关联规则发现（描述）、聚类（描述）和分类（预测）。).目前，随着市场的成熟、软件的升级、技术的迭代，我们可以使用不同算法的工具进行数据分析和挖掘。下面，我将从以下7大类中，为大家介绍和比较21款常用工具。用于统计分析的集成数据挖掘工具开源数据挖掘解决方案大数据数据挖掘工具小型数据挖掘解决方案云数据挖掘解决方案使用神经网络的数据挖掘工具用于数据可视化的数据挖掘工具当然，这其中的一些工具，可能跨越多个类别.例如，虽然AmazonEMR是一种云解决方案，但它也是处理大数据的绝佳工具。因此，我们尝试根据每个工具最突出的功能对其进行分类。在真正介绍各种工具之前，让我们先简单了解一下两种最流行的数据科学编程语言：R和Python之间的区别。R和Python从源头上看，R是在考虑统计分析的情况下开发的；而Python提供了一种更通用的数据科学方法。从使用目的来看，R更侧重于数据分析，提供了可以灵活使用的代码库。相反，Python的主要目标是部署到生产环境，这允许用户从头开始创建模型。在具体的使用方式上，R通常集成在本地运行，而Python则可以与应用程序集成。因此，尽管存在差异，两种语言都可以处理大量数据并提供大型代码库。用于统计分析的集成数据挖掘工具1.IBMSPSSSPSS(StatisticalPackagefortheSocialSciences)是最流行的统计软件平台之一。自2015年开始提供统计产品和服务解决方案以来，软件的各项高级功能已广泛应用于算法学习、统计分析（包括描述性回归、聚类等）、文本分析、大数据集成等场景。数据。中间。同时，SPPS允许用户使用Python和R通过各种专业扩展来改进他们的SPSS语法。IBM的SPSS2。R如前所述，R是一种可用于统计计算和图形环境的编程语言。它与UNIX、FreeBSD、Linux、macOS和Windows操作系统兼容。R可用于时间序列分析、聚类、线性和非线性建模等各种统计分析场景。同时，作为一个免费的统计计算环境，它还可以提供连贯的系统、各种优秀的数据挖掘包、数据分析的图形化工具，以及大量的中间件工具。此外，它还是SAS、IBMSPSS等统计软件的开源解决方案。3.SSAS（StatisticalAnalysisSystem）是数据和文本挖掘（texmining）和优化的合适选择。它根据组织的需要和目标提供各种分析技术和方法功能。目前，它能够提供描述性建模（有助于对客户进行分类和描述）、预测性建模（有助于预测未知结果）和分析性建模（用于解析、过滤和转换字段，如电子邮件、笔记、书籍和其他非结构化数据）.此外，其分布式内存处理架构也具有很强的可扩展性。4.OracleDataMiningOracleDataMining(ODB)是OracleAdvancedAnalytics的一部分。该数据挖掘工具提供了优秀的数据预测算法，可用于分类、回归、聚类、关联、属性重要性判断等专业分析。此外，ODB还可以使用SQL、PL/SQL、R和Java等接口来检索有价值的数据洞察并做出准确的预测。开源数据挖掘工具5.KNIME2006年首次推出的开源软件KNIME（KonstanzInformationMiner）已广泛应用于银行、生命科学、出版和咨询行业的数据科学和机器学习领域。同时提供本地和云端连接器，实现不同环境间的数据迁移。虽然它是用Java实现的，但KNIME提供了各种节点来方便用户在Ruby、Python和R中运行它。KNIME6。RapidMiner作为一个开源的数据挖掘工具，RapidMiner可以与R和Python无缝集成。它提供了丰富的产品来创建新的数据挖掘过程并提供各种高级分析。同时，RapidMiner是用Java编写的，可以与WEKA和R-tool集成。它是目前最有用的预测分析系统之一。它提供远程分析处理、预测模型的创建和验证、多种数据管理方法、内置模板、可重复的工作流、数据过滤以及合并和连接等功能。7.OrangeOrange是一款基于Python的开源数据挖掘软件。当然，Orange除了提供基本的数据挖掘功能外，还支持机器学习算法，可用于数据建模、回归、聚类、预处理等领域。同时，Orange还提供了可视化的编程环境和用户拖放组件和链接的能力。大数据数据挖掘工具从概念上讲，大数据可以是结构化的、非结构化的或半结构化的。它通常涵盖五个V的特征，即：数量（可能达到TB或PB级别）、多样性、速度、准确性和价值。鉴于其复杂性，我们很难在单台计算机上处??理和实现海量数据的存储、模式发现和趋势预测，因此需要分布式数据挖掘工具。8.ApacheSparkApacheSpark因其易用性和处理大数据的高性能而广受欢迎。它拥有Java、Python（PySpark）、R（SparkR）、SQL、Scala等多种接口，可提供80多种高级算子，方便用户更快地编写代码。此外，ApacheSpark还提供了SQL和DataFrames、SparkStreaming、GrpahX和MLlib的代码库，以实现快速数据处理和数据流平台。在ApacheSpark9中使用Python的逻辑回归进行预测。HadoopMapReduceHadoop是用于处理大量数据和各种计算问题的开源工具的集合。尽管是用Java编写的，但任何编程语言都可以与HadoopStreaming结合使用。其中，MapReduce是Hadoop的实现和编程模型。它允许用户“映射”和“归约”各种常用函数，并且可以跨庞大的数据集执行大型连接操作。此外，Hadoop还提供用户活动分析、非结构化数据处理、日志分析、文本挖掘等应用。目前，它已成为一种广泛适用的对大数据进行复杂数据挖掘的方案。10.QlikQlik是一个可以以可扩展和灵活的方式处理数据分析和挖掘的平台。它具有易于使用的拖放式界面，可立即响应用户的修改和交互。为了支持多种数据源，Qlik通过各种连接器、扩展、内置应用程序和API集实现了与各种外部应用程序格式的无缝集成。同时，它也是集中共享分析的绝佳工具。小数据挖掘解决方案11.Scikit-learn作为一款可以用于Python机器学习的免费软件工具，Scikit-learn可以提供优秀的数据分析和挖掘功能。具有分类、回归、聚类、预处理、模型选择、降维等多种功能。Scikitlern中的层次聚类12.Rattle(R)RattleR语言开发，兼容macOS、Windows、Linux等操作系统。它主要由美国和澳大利亚的用户用于公司业务和学术目的。R的计算能力可以为用户提供诸如：聚类、数据可视化、建模和其他统计分析功能。13、Pandas（Python）Pandas也是使用Python进行数据挖掘的“好手”。它提供的代码库既可以用于数据分析，也可以用于管理目标系统的数据结构。14.H3O是一个开源的数据挖掘软件，H3O可以用来分析存储在云架构中的数据。虽然使用R语言编写，但该工具不仅与Python兼容，还可以用于构建各种模型。此外，得益于Java语言支持，H3O可以快速轻松地部署到生产环境中。云数据挖掘解决方案通过实施云数据挖掘技术，用户可以从虚拟集成数据仓库中检索重要信息，从而降低存储和基础设施成本。15.AmazonEMR是处理大数据的云解决方案。AmazonEMR不仅可以用于数据挖掘，还可以执行Web索引、日志文件分析、财务分析和机器学习等数据科学工作。平台提供包括ApacheSpark、ApacheFlink在内的多种开源解决方案，可以通过自动调整集群等任务来提高大数据环境的可扩展性。亚马逊的大数据平台16.AzureML作为一个基于云服务的环境，AzureML可以用来构建、训练和部署各种机器学习模型。对于各种数据分析、挖掘和预测任务，AzureML允许用户在云平台上计算和操作不同数量的数据。17.GoogleAIPlatform与A??mazonEMR和AzureML类似，基于云的GoogleAIPlatform也可以提供各种机器学习堆栈。GoogleAIPlatform包括各种数据库、机器学习库和其他工具。用户可以在云端使用它们来执行数据挖掘和其他数据科学任务。使用神经网络的数据挖掘工具神经网络处理数据的方式与人脑处理信息的方式相同。换句话说，由于我们的大脑有数以百万计的神经元来处理外部信息并相应地产生输出，神经网络可以遵循这样的原则，通过将原始数据转换成相互关联的信息来实现数据挖掘的目标。18.PyTorchPytorch既是一个Python包，也是一个基于Torch库的深度学习框架。它最初是由Facebook的人工智能研究实验室(FAIR)开发的，是一种类似深度神经网络的数据科学工具。用户可以通过Pytorch对整个神经网络进行编程，包括：加载数据、预处理数据、定义模型、进行训练和评估、数据挖掘等步骤。此外，凭借强大的GPU加速能力，Torch可以实现快速的数组计算。截至2020年9月，torch的R生态系统(https://torch.mlverse.org/)已经包括torch、torchvision、torchaudio和其他扩展。PyTorch的神经网络19.TensorFlow与PyTorch类似，由GoogleBrainTeam开发的TensorFlow也是一个基于Python的开源机器学习框架。它既可以用于构建深度学习模型，也可以重点关注深度神经网络。TensorFlow生态系统不仅灵活地提供了多种类库和工具，还拥有广泛而受欢迎的社区供开发者进行各种问答和知识分享。虽然它属于Python库，但TensorFlow在2017年将R接口引入了TensorFlowAPI。用于数据可视化的数据挖掘工具数据可视化是从数据挖掘过程中提取的信息的图形表示。此类工具允许用户通过图形、图表、地图和其他可视化元素可视化数据中的趋势、模式和异常值。20.MatplotlibMatplotlib是一个优秀的使用Python进行数据可视化的工具库。它允许用户利用交互式图形创建高质量的图表，例如：直方图、散点图、3D图等。这些图表可以在样式、轴属性、字体等方面进行自定义。Matplotlib图表示例21.ggplot2ggplot2也是一个流行的数据可视化R工具包。它允许用户构建各种高质量和漂亮的图形。同时，用户还可以使用该工具对图中的各个组件进行高度抽象的修改。总结如前所述，大多数数据挖掘工具或解决方案都使用R和Python这两种主要编程语言，以及相应的各种包和库。对于从事数据挖掘的开发人员或数据科学家来说，学习和了解各类数据分析和挖掘工具是非常有必要的。当然，如何选择合适的工具取决于您当前的业务或研究目标。原标题：Top21DataMiningTools，作者：MarianaBerga,AlicjaOchman,PedroCoelho
