当前位置: 首页 > 科技观察

无监督学习的12个最重要的算法介绍及其用例总结

时间:2023-03-19 16:01:08 科技观察

介绍12种最重要的无监督学习算法及其用例总结数据本身。无监督学习算法有几种类型,以下是其中最重要的12种:1.聚类算法根据相似性将数据点分组到聚类中k-均值聚类是一种流行的聚类算法,它将数据分为k组。2.降维算法对数据进行降维,更易于可视化和处理。主成分分析(PCA)是一种将数据投影到低维空间的降维算法。PCA可用于将数据降维到其他最重要的特征。3.用于识别异常值或异常数据点的异常检测算法支持向量机可用于异常检测(示例)。异常检测算法用于检测数据集中的异常值。异常检测的方法有很多种,但大部分可以分为有监督的和无监督的。监督方法需要标记的数据集,而无监督方法则不需要。无监督异常检测算法通常基于密度估计,试图??在数据空间中找到密集区域之外的点。一种简单的方法是计算每个点到k个最近邻居的平均距离。离邻居很远的点很可能是异常值。还有许多基于密度的异常检测算法,包括局部离群因子(LOF)和支持向量域描述(SVDD)。这些算法比简单的k最近邻方法更复杂,并且通常可以检测到更细微的异常。大多数异常检测算法都需要调优,例如指定一个参数来控制算法对异常的敏感程度。如果参数太低,算法可能会漏掉一些异常。如果设置得太高,算法可能会产生误报(将正常点识别为异常值)。4.分割算法将数据分成段或组分割算法可以将图像分割成前景和背景。这些算法可以在没有人工监督的情况下自动将数据集分割成有意义的组。该领域中比较知名的算法之一是k-means算法。该算法通过最小化组内距离的平方和将数据点分成k组。另一种流行的分割算法是均值偏移算法。该算法通过迭代地将每个数据点移向其局部邻域的中心来实现这一点。均值漂移对异常值具有鲁棒性,可以处理密度不均匀的数据集。但在大型数据集上运行它的计算成本可能很高。高斯混合模型(GMM)是一种可用于分割的概率模型。以前gmm需要大量计算才能训练,但最近的研究进展使其速度更快。gmm非常灵活,可用于任何类型的数据。但它们有时并不总能产生最佳结果。对于简单的数据集,k-means是一个不错的选择,而gmm更适合复杂的数据集。在任何一种情况下都可以使用均值偏移,但在大型数据集上进行计算可能会很昂贵。5.降噪算法减少或去除数据中的噪声小波变换可用于图像降噪。但噪音可能来自各种来源,包括数据损坏、缺失值和异常值。去噪算法通过减少数据中的噪声量来提高无监督学习模型的准确性。现有的去噪算法有很多,包括主成分分析(PCA)、独立成分分析(ICA)和非负矩阵分解(NMF)。6.链接预测算法预测数据点之间的未来连接(例如,网络中两个节点之间的未来交互)链接预测可用于预测谁将成为社交网络中的朋友。一种比较常用的链接预测算法是优先连接算法,它预测如果两个节点有很多现有连接,则它们更有可能连接。另一种流行的链接预测算法是局部路径算法,它预测如果两个节点共享一个共同的邻居,则它们更有可能关联。该算法可以捕获“结构等价”的概念,因此在生物网络中经常使用。最后,带重启算法的随机游走也是一种链路预测算法,它在网络上模拟随机游走者并在随机节点处重启游走者[17]。然后使用步行者到达特定节点的概率来衡量两个节点之间存在连接的可能性。7.强化学习算法通过试错法学习Q-learning是基于价值的学习算法的一个例子;它易于实现且通用。但Q-learning有时会收敛到一个次优的解决方案。另一个例子是TD学习,它在计算上比Q学习要求更高,但通常会产生更好的解决方案。8.生成模型:算法使用训练数据生成新数据自动编码器是生成模型,可用于从图像数据集中创建独特的图像。在机器学习中,生成模型是捕获一组数据的统计属性的模型。这些模型可用于生成新数据,就像它们所训练的数据一样。生成模型用于各种任务,例如无监督学习、数据压缩和去噪。生成模型有很多种,例如隐马尔可夫模型和玻尔兹曼机。每种模型都有其优点和缺点,适用于不同的任务。隐马尔可夫模型擅长对时序数据建模,而玻尔兹曼机更擅长对高维数据建模。通过在未标记的数据上训练生成模型,可以将生成模型用于无监督学习。模型经过训练后,可用于生成新数据。然后,生成的数据可以由人类或其他机器学习算法标记。可以重复此过程,直到生成模型学会生成类似于所需输出的数据。9.随机森林是一种机器学习算法,既可以用于监督学习,也可以用于无监督学习。对于无监督学习,随机森林可以找到一组相似的条目,识别异常值,并压缩数据。对于有监督和无监督任务,随机森林已被证明优于其他流行的机器学习算法(例如支持向量机)。随机森林是无监督学习的强大工具,因为它们可以处理具有许多特征的高维数据。它们还可以抵抗过度拟合,这意味着它们可以很好地泛化到新数据。10.DBSCAN是一种基于密度的聚类算法,可用于无监督学习。它基于密度,即每个区域中的点数。DBSCAN组内的点如果靠得很近则指向一个组,如果点相距较远则忽略。DBSCAN与其他聚类算法相比具有一些优势。它可以找到不同大小和形状的簇,并且不需要用户预先指定簇的数量。此外,DBSCAN对异常值不敏感,这意味着它可用于查找其他数据集无法很好表示的数据。但DBSCAN也有一些缺点。例如,它可能很难在嘈杂的数据集中找到好的集群。另一件事是DBSCAN需要密度阈值,这可能不适用于所有数据集。11.Apriori算法用于寻找关联、频繁项集和序列模式Apriori算法是第一个关联规则挖掘算法,也是最经典的算法。它的工作原理是首先找到数据中的所有频繁项集,然后使用这些项集生成规则。Apriori算法的实现方式有很多种,可以针对不同的需求进行定制。例如,可以操纵支持度和置信度阈值以找到不同类型的规则。12.Eclat算法从交易数据库中挖掘频繁项集,可用于购物车分析、入侵检测和文本挖掘等价关系将搜索空间(概念格)划分为更小的子空间(子概念格)。