当前位置: 首页 > 科技观察

如何为数据集选择正确的聚类算法

时间:2023-03-22 14:44:09 科技观察

应用聚类算法比选择最佳算法要容易得多。每种类型都有其优点和缺点,如果您想要干净的集群结构,则必须仔细考虑。数据聚类是安排正确的整体数据模型的重要步骤。出于分析目的,信息应根据共同点进行组织。主要问题是哪些常用参数可提供最佳结果以及“最佳”的含义。本文介绍了最广泛的聚类算法及其深入的解释。根据每种方法的特殊性,提供了使用它的应用程序的建议。四种基本算法和如何选择从聚类模型中,可以区分四种常见的算法类别。一般来说,算法不少于100种,但它们的知名度和应用领域都不是比较广泛。基于整个数据集中对象之间距离的计算称为基于连接或分层。根据算法的“方向”,它可以联合或反向划分信息数组——聚合和划分的名称正是从这种精确的变化中产生的。最流行的,或者也许是最合理的类型是凝聚类型,您首先输入一些数据点,然后将这些数据点组合成越来越大的集群,直到达到极限。基于连通性的聚类最突出的例子是植物分类。数据集的“树”以特定物种开始,以某个植物“王国”结束,每个植物“王国”由较小的簇(门、类、目等)组成。在应用一种基于连接的算法后,您将收到一个数据树状图,该树状图将向您显示信息的结构,而不是它在集群上的明显分离。这样的属性既有优点也有缺点:算法的复杂性可能变得过于复杂,或者根本不适用于具有很少或没有层次结构的数据集。性能也会很差:由于重复次数多,全部处理会耗费大量时间。最重要的是,使用分层算法无法获得确切的结构。同时,需要从计数器馈送的数据归结为对最终结果没有实质影响的数据点的数量,或者是一个预先设定的距离度量,这是粗略测量的。根据我的经验,基于中心体的聚类是最常见的模型,因为它很简单。该模型旨在将数据集中的每个对象分类到特定的集群中。簇数(k)是随机选择的,这可能是该方法最大的“弱点”。由于该算法与k最近邻(kNN)方法相似,因此在机器学习中特别受欢迎。计算过程包括几个步骤。首先,选择输入数据,将数据集划分成的大致簇数。聚类的中心应尽可能远离,这将提高结果的准确性。其次,该算法找到数据集中每个对象与每个聚类之间的距离。最小坐标确定将对象移动到哪个簇。之后,基于所有对象坐标的平均值重新计算簇的中心。重复算法的第一步,但重新计算簇的新中心。除非满足某些条件,否则此类迭代会继续。例如,当簇的中心没有移动或从上一次迭代移动不明显时,算法可能会结束。虽然数学和编码很简单,但k-means有一些缺点使我无法在任何可能的地方使用它。这包括:忽略每个集群的边缘,因为优先级设置在集群的中心,而不是边界;无法创建一个数据集结构,其对象可以等量地分类到多个集群中;需要猜测最佳k值,或需要初步计算来指定此规格。同时,期望最大化算法可以避免这些复杂性,同时提供更高的准确性。简而言之,它计算每个数据集点与我们指定的所有集群相关联的概率。用于此聚类模型的主要“工具”是高斯混合模型(GMM),它假设数据集的点通常服从高斯分布。k-means算法基本上是EM原理的简化版本。它们都需要手动输入簇数,这是该方法面临的主要问题。除此之外,计算原理(对于GMM或k-means)很简单:在每次新的迭代中逐渐指定聚类的大致范围。与基于质心的模型不同,EM算法允许对两个或多个聚类点进行分类-它仅向您显示每个事件的可能性,您可以将其用于进一步分析。更重要的是,每个集群的边界由不同度量的椭圆体组成,这与k-means不同,后者在视觉上将集群表示为圆圈。但是,该算法对于对象不遵循高斯分布的数据集根本不起作用。这是该方法的主要缺点:它更适用于理论问题而不是实际测量或观察。最终,基于数据密度的聚类成为数据科学家心目中最受青睐的非官方方法,包括将数据集划分为聚类的模型要点,以及输入ε参数(“邻域”距离)的计数器.因此,如果一个物体在半径为ε的圆(球)内,则它与该簇有关。DBSCAN(基于密度的应用噪声空间聚类)算法逐步检查每个对象,将其状态更改为“已查看”,将其分类为簇或噪声,直到最终处理整个数据集。使用DBSCAN识别的聚类可以具有任意形状,因此非常精确。此外,该算法不会让您计算簇数,它是自动确定的。不过,即使像DBSCAN这样的杰作也有缺点。如果数据集由可变密度的数据集组成,则此方法会产生较差的结果。如果对象靠得太近,并且您无法轻松估计ε参数,那么这也不适合您。总之,没有错误选择的算法——其中一些只是更适合特定的数据集结构。为了选择最好的、更适合的算法,需要全面了解它们的优缺点和特点。一些算法可能首先被排除在外,例如它们不符合数据集规范。为避免重复性工作,您可以花点时间整理和记忆信息,而不是选择反复试验的路径。