简介：本文的首席执行官注释将向您介绍大数据算法的哪些相关内容。我希望这对每个人都会有所帮助。让我们来看看。
名称：Cui Sheng Xue编号：14020120005
【嵌入式niu duan阅读：
em，作为大数据的经典算法，是学习互联网大数据时必须了解的常见算法
[嵌入式鼻子]：经典大数据算法的EM简要介绍
[嵌入牛的问题]：em的算法是什么，如何观察隐藏的变量？
【嵌入的文本】：
1.很有可能
估计最大似然是已知模型参数估计的统计方法。例如，我们想知道硬币作为正（头）的概率分布。然后可以通过最大似然估计方法获得。如果我们投掷1010个硬币，其中88个是正面的，相反的一侧是22次；
θ^=argmaxθl（θ）=argmaxθb8（1 -θ）2θ^=arg?maxθl（θ）=arg?maxθ8（1 -θ）2
其中，L（θ）L（θ）是观察序列的可能性功能。寻求L（θ）L（θ）的部分指导
?l（θ）= =θ7（1 -θ）（8-10θ）?^^ =0.8?l（θ）?θθ（1-10）（8-10θ）?^^ = 0.8
因为类似的 - 格言函数l（θ）l（θ）不是混凝土函数（凹形），因此很难求解巨大的值。按基因使用与图相同的单调logikelihoodhienyhienyhienyhienhoens。
凹函数（凹形）和凸功能（凸）的定义如图所示：
从图可以看出，凹功能“简单”求解最大值，凸功能“易于”求解非常小的值。
2. EM算法
EM算法（期望最大化）是一种在包含潜在变量的模型中计算出的最大算法。SO所述的隐藏变量是指我们无法观察到的变量。例如，有两个硬币A和B，每个都随机使用一个用于投掷，我们只能观察硬币的正面和另一侧，我们无法观察到每次摄取的硬币是否为A.硬币是隐藏的变量。
使用y代表观察数据，z表示隐藏的变量；Y和Z一起称为完整的数据，观察数据Y也称为不完整数据（不完整数据）。观察数据的可能性函数：
p（y |θ）= ∑zp（z |θ）p（y | z，θ）p（y |θ）= ∑zp（z |θ）p（y | z，θ）
模型参数的大量估计：
θ^=argmaxθlogp（y |θ）θ^=arg?maxθlog?p（y |θ）
由于它包含隐藏的变量，因此无法解决此问题。因此，Dempster等人。迭代以解决近似解决方案的建议。EM算法相对简单，分为两个步骤：
e-step（e-step），用当前参数θ（i）θ（i）计算zz的期望值
q（θ，θ（i））= ez [logp（y，x |θ）|y，θ（i）] q（θ，θ（i））= ez [log?p（y，x |θ）|Y，θ（i）]
m-step（m-step），要求q（θ，θ（i））q（θ，θ（i））以最大化θθ，并确定i+1i+1迭代参数的估计值（i+1）θ（i+1）
θ（i+1）=argmaxθq（θ，θ（i））θ（i+1）=arg?maxθq（θ，θ（i））
这种迭代迭代，直到算法收敛为止。算法的推导和收敛性，请参阅Li Hang的“统计学习方法”和Andrew Ng的“ CS229讲义”。这里有一些生动的EM算法示例。
3.示例
[2]给出了像烈士和EM算法一样大的示例。如图所示，有两个硬币A和B，每个实验都随机投掷10次，总共有5个实验。我们可以每次都观察到摄取的硬币。据估计，根据对其的大估计，参数a和b是正概率θ=（θa，θb）θ=（θa，θb）
如果我们无法观察到我们采用的硬币，我们只能使用EM算法估计模型参数。算法过程如图所示：
隐藏的变量zz是在每个实验中选择A或B的概率，第一个实验选择A IS的概率
p（z1 = a | y1，θ（0））= p（z1 = a | y1，θ（0））p（z1 = a | y1，θ（0））+p（z1 = b | y1，θ（0））= 0.65 ? 0.450.65 ? 0.45+0.510 = 0.45p（z1 = a | y1，θ（0））= p（z1 = a | y1，θ（0））p，θ（0））+p（z1 = b | y1，θ（0））= 0.65 ? 0.450.65 ? 0.45+0.510 = 0.45
根据上面的计算方法，您可以依次找到隐藏的变量ZZ，然后计算最大θ（i）θ（i）。10次迭代后，最后收敛。
4.参考材料
[1] Li Hang，“统计学习方法”。
[2] Chuong B做Seraafim Batzoglou，最大化算法是什么？
[3] Pieter Abbeel，最大似然（ML），期望最大化（EM）。
[4] Rudan Chen，[机器学习算法系列之一] EM算法实例分析。
我们经常谈论的SO添加数据挖掘是一个过程，即对大量数据集，自动化识别趋势和模式以及相关性的建立进行分类。市场中的数据公司现在通过各种渠道收集大量信息。该信息来自网站，公司应用程序，社交媒体，移动设备以及不断增长的物联网。
例如，我们每天都在使用搜索引擎。在自然语言处理领域，有一个非常流行的算法模型，称为袋子模型，也就是说，将一条文字视为一袋水果。该模型是为了计算这袋水果。EssencesEarch引擎将写下这些数字。如果您想要苹果，它将为您提供这些包装苹果。
当我们在线购买东西或看电影时，该网站会推荐一些可能符合我们偏好的产品或电影。该建议有时是准确的。实际上，这背后的算法是计算您喜欢的电影与其他人最喜欢的电影相同。如果您喜欢同时喜欢的一定数量的电影，那么您喜欢别人，但是您还没有看过它。生产环境，但从本质上讲，它们都在计算。
当数据量相对较小时，您可以手动检查数据。在大数据时代，在分析师或老板的报告中，数百个结核病甚至PB数据只是一些数字结论。在计数过程中，数据中存在的信息也被丢弃，在其真实价值的情况下，由数字数量所代表的数字表示的信息值。在过去的十年中，许多公司花费了很多钱，使用物联网和云计算，并收集了大量数据，但最后，他们发现所获得的收入并非尽可能多。
因此，我们现在正处于“数字化一切”的时代。所有人的行动都将通过一些数字方式转换为数据。每个新年，主要网站和应用程序都会推动用户一年的审核报告。例如，花费超过百分之几的小合作伙伴；该航空公司将告诉用户去年有多少飞机，多少飞行里程以及在哪里建立了飞行里程；多少个朋友比多少个朋友多。这些报告看起来很酷，他们被命名为“大数据”，这使用户认为这是一项非凡的技术。
实际上，数据对数据的使用和分析并不比我们每年收到的年度报告更为复杂。它拥有超过30年的商业智能历史，看起来非常酷，而且其本质仍在计算，并且是计数的，并且结果的数量被吸引到经理。在不同的行业和场景中，相同的数字和图表将具有不同的名称。即使近年来，热数据处理技术只能计算更多，而且数字更快。
在大数据处理过程中将使用哪些算法？
1. a*搜索算法 - 图形搜索算法，从给定的起点到给定端点以计算路径。算法按顺序访问这些节点的顺序。因此，a*搜索算法是更好的优先级搜索的示例。
2.结论捆绑搜索（也称为目标搜索，光束搜索）-t。优化更好的优先级搜索算法。使用灵感功能来评估每个节点检查的能力。m是固定的数字 - 捆绑包的宽度。
3.二进制搜索 - 在线阵列中找到特定值算法，并删除一半不符合每个步骤要求的数据。
4.在各种优化问题中用于特定优化解决方案的分支和结合算法，尤其是用于离散和组合优化。
5. Buchberger算法-A数学算法可以被视为Oujito算法的概括和单个可变性惯例中的Gaussian渲染方法。
6.数据压缩-Adopt一种特定的编码方案，并使用较少的字节（或其他信息携带单元）进行信息编码过程，也称为源编码。
7. Diffie-Hellman密钥交换算法 - AN加密协议，该协议允许双方在不安全的通信频道中共享共享密钥而无需事先相互了解。将来可以使用对称密码对键进行加密。
8. Dijkstra算法 - 对于重量的重侧的方向图，计算了最小算法。
9.离散分化。
10.动态规划算法（动态编程） - 显示由显示显示的子问题和最佳子体系结构算法
11.欧几里得算法 - 计算两个相交的数量较大。最古老的算法是“几何原始”，它出现在公元前300年。
12.期望 - 期望 - 最大化算法（也称为Em-training） - 在统计计算中，期望 - 利尔格算法在概率模型中发现了更可能的参数估计值，该概率模型的模型依赖于无与伦比的潜在变量ercult.em nctal.em em em em em em em em em em em em分两个步骤。第一步是计算期望。使用隐藏变量的现有估计值来计算其大型估计值；第二步是在第一步中更大，更大。获得最大值以计算参数的值。
13.快速傅立叶变换（FFT）的离散傅立叶变换（DFT）及其反转。该算法具有广泛的应用，从数字信号处理到求解部分微分方程，再到快速计算大整数乘法。
14.梯度下降 - 数学优化算法。
15.哈希。
16.堆排序（堆）。
17. Kratsuba乘法 - 需要完成数千个整数乘法的系统，例如计算机代数系统和大数量程序库，如果使用了长乘法，则速度太慢。算法是在1962年发现的。
18. LLL算法（Lenstra-lenstra-lattice降低） - 晶格基础是输入的，并且输出是短方向的。LLL算法在以下公共密钥加密方法中使用：背包加密系统（KNAPSACK），RSA Encryption，rsa Encryption，RSA Encryption，RSA加密。特定的设置等等。
19.最大流量（最大流） - 该算法试图从交通网络中找到大流量。流量问题。LARGE流与网络中的接口有关，该界面是较大的流最大流量最小式定理。Ford-Fulkerson可以找到大量的流网络。
20.合并排序。
21.牛顿的方法 - 非线性方程（组）零点的重要迭代方法。
22. Q学习学习算法 - 这是一种通过学习值函数完成的强化学习算法。该功能在给定状态下采用给定的动作，并计算出所需的有效性价值。然后遵循固定的策略。左倾的优点是，在没有环境模型的情况下，它可以比较采用行动的预期效用。
23.二次筛子 - 现代整数因子分解算法实际上是第二个更快的（仅次于数字筛网）。它仍然是十个少于110个位置的整数最快的，它被认为是它的。比数字域筛选方法简单。
24. RANSAC - “随机样本共识”的缩写。根据通过一系列观测值获得的数据，数据中包含数据中的异常值，并且估计了数学模型的参数值。基本假设是，基本的假设是数据包含非阿尔赖恩值，即可以通过某些模型参数来解释的值，而疏远值是那些不符合模型的数据点。
25. RSA - - 公共密钥和algorithm.Arlier，适用于该算法的签名为Encryption.rsa在E-商务行业中仍然很大，并且每个人都认为它具有足够的安全长度。
26. Schanhage-Strassen算法数学，SCH-NHAGE-Strassen算法是一种快速的方法算法，用于完成大整数的乘法。算法复杂性为：O（n log（n log（n）log（log（log（n）），），使用傅立叶变换。
27.单纯算法 - 在数学优化理论中，简单算法是常用的技术来找到线性规划问题的数值解决方案。线性计划问题包括一系列在一组实体变量上的线性无限组，以及一组固定的线性线性。等待较大（或最小化）的功能。
28.单数值分解（简称SVD） - 在线代数，SVD是分解真实或复数矩阵的重要方法。信号处理和统计数据中有许多应用程序，例如计算矩阵矩阵矩阵矩阵的伪函数矩阵（要解决最小每日乘法的问题），请解决过度确定的线性系统，矩阵方法，数值天气预测，因此在。
29.找到一个线性方程系统（求解线性方程系统）是数学中最古老的问题。它们有许多应用程序，例如，如none -linear问题正在临近。寻求线性方程组，您可以使用高斯 - 乔丹消除或cholesky分解。
30. strukturtensor算法 - 应用于模式识别场，为所有像素找到一种计算方法，以查看像素是否位于均质区域（同质区域），以查看其是否属于边缘或顶点。
31.合并赋予的一组元素，通常用于将这些元素分为多个单独且不合理的组。脱节集的数据结构可以跟踪此类划分。组合的搜索算法可以完成两个有用的操作此数据结构：
查找：确定哪个特定元素属于哪个组。
合并：一组合并或合并了两组。
32. viterbi算法 - 找到一种动态规划算法，最有可能在隐藏状态下进行顺序。该序列称为VITBI路径。结果，它是一系列可以观察到的事件，尤其是在模型的隐藏马可分文中。
1. a*搜索算法 - 图形搜索算法，从给定的起点到给定端点以计算路径。算法按顺序访问这些节点的顺序。因此，a*搜索算法是优先搜索的最佳示例。
2.结论捆绑搜索（也称为目标搜索，光束搜索） - 最佳优先级搜索algorithm的优化范围来评估每个节点检查的能力。最初与最一致的M节点的深度。m是固定的数字 - 捆绑包的宽度。
3.二进制搜索 - 在线阵列中找到特定值算法，并删除一半不符合每个步骤要求的数据。
4.在各种优化问题中用于特定优化解决方案的分支和结合算法，尤其是用于离散和组合优化。
5. Buchberger算法-A数学算法可以被视为Oujiti算法的概括和最大单个变量惯例中的Gaussian元素方法。
6.数据压缩-Adopt一种特定的编码方案，并使用较少的字节（或其他信息携带单元）进行信息编码过程，也称为源编码。
7. Diffie-Hellman密钥交换算法 - AN加密协议，该协议允许双方在不安全的通信频道中共享共享密钥而无需事先相互了解。将来可以使用对称密码对键进行加密。
8. Dijkstra算法 - 对于重量的重侧的方向图，计算了最小算法。
9.离散分化。
实际上，参与选择的18个算法不仅可以称为经典算法，因此所选择的十种算法实际上可以称为经典算法。它们对数据挖掘领域产生了深远的影响。
1.C4.5
C4.5算法是机器学习算法中的分类决策 - 制造树算法。核心算法是ID3算法.C4.5算法继承ID3算法的优势，并在以下方面改进ID3算法：
2）在树结构期间修剪切割；
3）能够完成连续属性的离散过程；
4）能够处理不完整的数据。
C4.5算法具有以下优点：生成的分类规则易于理解，准确率很高。缺点是，在构造树的过程中，有必要多次扫描和对数据集进行分类，从而导致结果。在效率低下的算法中。
2. Thek-Meansalgorithm是K-均值算法
k-meansalgorithm算法是一种集群算法
支持向量机，英语是辅助视摩男，称为SV机器（通常在论文中称为SVM）。这是一种监督学习的方法，在统计分类和回归分析中广泛使用。支持向量机映射矢量矢量在该空间中建立了较高维度的空间，并在平面上建立了最大间隔。平行平面平面。平行超级平面之间的距离或差距越大，分类器的总误差越小。出色的指南是C.J. Cburges的“模型识别支持向量机指南”。Vanderwalt和Barnard将矢量机与矢量机与其他分类器。
4. theeprialgorithm
APRIORI算法是布尔协会规则的频繁项目集的最具影响力的算法。它的核心基于两个阶段频率集的递归算法。此关联规则属于单个维度，单层，单层和布尔仪和布尔亚尔和布尔。分类中的关联规则。此外，所有支持的所有项目都比最低支持的所有项目称为频繁的项目，称为频繁集合。
5.最大期望（EM）算法
在统计计算中，最大期望（EM，期望 - 最大化）算法是概率模型中参数最大估计的算法，其中概率模型取决于可描述性的隐藏变量（litentvariabl）。机器学习和计算机视觉中的数据收集（数据集群）领域。
6.Pagerank
Pagerank是2001年9月Google Algorithm的重要组成部分，他获得了美国专利的授予，专利是Larrypage，Google是Google的创始人之一。但是页面，也就是说，此级别的方法以页面命名。
Pagerank根据外部链接的数量和内部链接以及网站的质量来衡量网站的价值。页面背后的概念是每个页面的链接都是页面上的投票。链接越多，其他网站的投票就越多。这是如此被称为“链接受欢迎” - 许多人愿意将其网站链接到您的网站。pagerank的概念是从论文中的频率中引用的。学术论文 - 其他人引用的次数越多，本文的权威就越高。
7. adaboost
ADABOOST是一种迭代算法，它是训练不同的分类器（弱分类器）进行相同的训练集，然后收集这些弱分类器以形成更强大的最终分类器（强分类器）。它的算法本身是通过更改数据分布来实现的。它根据每个训练集中的每个样本的分类以及最后一个总体分类的准确性确定每个样本的重量作为最终决策分类器的培训。
8.knn：K-Nearestneighborclassification
K-Nearestneighbor（KNN）分类算法是一种理论上成熟的方法，也是最简单的机器学习算法之一。该方法的想法是，如果特征空间中的大多数Kither（即与特征空间最相邻）在特征空间中，大多数样本属于某个类别，然后该样本属于此类别。
9.NaiveBayes
在许多分类模型中，两个最广泛使用的分类模型是DeciestTreemodel和NaiveBayesianModel（NBC）。简单性贝叶斯模型源自经典数学理论，具有固体的数学基础和稳定的分类效率。很少有参数对丢失数据并不是很敏感，并且该算法相对简单。从理论上讲，与其他分类方法相比，NBC模型具有最小错误率。但并非总是如此。这是因为NBC模型假定属性独立于属性。该假设通常在实际应用中不建立，这对NBC模型的正确分类产生一定的影响。当属性数量较大或属性之间的相关性很大时，NBC模型的分类效率不那么好。作为决策树模型。在小属性相关性中，NBC模型的性能最为好。
10.CART：分类和返回树
购物车，分类和基础。分类树下有两个关键思想。第一个是递归将自变量空间划分的想法。第二个想法是使用验证数据进行修剪。
大数据挖掘算法：
1.简单的贝叶斯，超级简单，就像做一些数字一样。如果条件是独立假设的，则NB的收敛速度将比识别模型快，因此您只需要少量的培训数据。即使条件是独立的，NB在现实中仍然表现出惊人的善良。
2. Logistic回归，LR有许多方法可以使模型的正规化为正规。而且，使用新的培训数据来更新模型很容易。如果您想要一些概率信息或希望将来有更多数据时更新模型，那么LR值得使用。
3.决策树，DT易于理解和解释。DT是非参数，因此您不必担心字段（或出发点）和数据是否线性分配。DT的主要缺点是容易过度锻炼。
4.支持向量机，高分类精度率，具有良好的理论保证，可用于过度拟合，选择适当的核功能，并且也可以很好地执行杰出的线性不可分割问题的问题。SVM在具有高维度的文本分类中非常流行。
如果您想要越来越详细的信息，建议您进入CDA数据分析课程。BIG数据分析师现在拥有专业的国际认证。CDA，即“ CDA数据分析师”，是数字经济时代的专业权威国际资格认证和人工智能的趋势。数字技能帮助企业的数字化转型并促进数字化的数字发展并促进了数字化的发展。行业。“ CDA数据分析师”专门指的是从事数据收集，清洁，处理，分析和在互联网，金融，零售，咨询，电信，医疗和旅游业上做出决策的新数据分析人才。预约免费试听课。
名称：Cui Sheng Xue编号：14020120005
【嵌入式niu duan阅读：
C4.5作为一种经典处理的大数据算法，是学习互联网大数据时必须理解的常见算法
[嵌入式鼻子]：经典大数据算法的C4.5
[嵌入牛的问题]：算法C4.5是什么，制定机制依赖于什么？
【嵌入的文本】：
决策树模型：
决策树是一种树结构，通过分类特征属性来对样本进行分类，包括方向和三种节点类型：有三种类型的节点：
root节点（root节点）指示第一个特征属性，仅输入边缘。
代表特征属性的内部节点（Internet节点）至少在一个边缘中至少有两个边缘，至少两个边缘。
叶节点，表明该类别只有一个边缘。
上面给出了（两个叉）决策树的示例。决策树具有以下特征：
对于二进制决策树，可以将其视为IF-Then规则的集合，从决策树的根节点到对应于分类规则的叶子节点；
分类规则是相互排斥和完整的。SO称为相互排除的是，每个示例记录都不会同时匹配两个分类规则。SO称为完整的是，每个示例记录都可以匹配决策树中的规则。
分类的本质是特征空间的划分，如下图所示
决策树学习：
决策的本质 - 树木学习是要从培训数据集中的一组分类规则[2]。树很好地适合培训数据，并对未知数据有良好的预测？
首先，我们必须解决两个问题：
如何选择更好的特征属性进行分裂？每个功能属性的分配等效于对应于决策树的生长。ID3算法定义了特征选择的目标函数。
我什么时候应该停止分裂？有两种类型的自然情况可以阻止分裂。一个是，与该节点相对应的所有样本记录属于同一类别，另一个是所有与节点相对应的样本的特征是相等的。
2.决策树算法
功能选择
功能选择是指为最大化目标功能定义的目标函数的特征。给出以下示例以下三个示例，分解以下三个功能（生成，汽车类型，客户ID）：
图中有两个类别（C0，C1），C0：6是计数为C类型的。类别不确定性较小。
为了衡量类别分布概率的倾斜程度，定义了决策树节点TT的杂质，这是满足的：刺激性越小，类别的分布概率就越倾斜；
其中，p（ck | t）p（ck | t）表示决策树节点tt类别ckck的概率。这三个杂质的测量值相等，相等概率的分布是最大值。
为了判断分区前后节点炎症的变化，将目标函数定义为信息增益：
i（?）i（应）与决策树节点的杂质相对应，父父母表示划分之前的父节点，nn表示父节点中包含的示例记录的数量，而AIAI表示划分后的子节点在父节点中，n（ai ai）n（ai）对其进行计数，nn是分裂后的子节点的数量。
特别是，ID3算法选择熵值作为杂质i（?）i（走气）的度量，然后
CC是指所有父节点的所有样本记录的类别；AA表示所选的特征属性，即AIAI的集合。信息培训数据集CC的不确定性减少了。
特征分开后，某些子节点的记录数可能很小，因此分类结果受到影响。为了解决此问题，购物车算法提出了只有功能的二进制拆分，即决策树是一棵二进制树；C4.5算法改善了拆分目标函数，信息增益比选择了：
因此，特征选择的过程等效于计算每个特征的信息增益，并且最大信息增益的特征用于拆分。这是回答前面提出的第一个问题（选择更多特征）。ID3算法集阈值。当最大信息增益小于阈值时，据信找不到更好的分类功能的特征，也无需继续分割。由于这个叶子节点，也要回答早期提出的第二个问题（停止分裂条件）。
决策树的生成：
ID3算法的核心是根据最大的信息增益标准递归构建决策树；算法过程如下：
如果节点符合停止分区条件（所有记录都属于同一类别或最大信息增益小于阈值），则将其作为叶子节点；
选择分裂信息的最大特征；
重复步骤1-2，直到分类完成。
C4.5算法过程类似于ID3，但是信息增益更改为信息增益比。
3.决策树修剪
过度拟合
生成的决策树将对培训数据产生良好的分类效果，但可能对未知数据不准确，即，决策树模型过于适应（概括错误，也可以视为测试错误）。下图给出训练错误，测试错误（测试错误），而决策树节点的数量更改：
可以观察到，当节点的数量较小时，训练错误和测试错误很大，即会发生拟合。当节点的数量很大时，训练错误很小，但是测试误差很大，很大，很大，这是大修。仅当节点的数量中等时，训练错误在中间，测试误差很小；它非常适合培训数据，与此同时，对于未知数据，它具有良好的分类准确率。
拟合的根本原因是分类模型太复杂了。可能的原因如下：
训练数据集具有噪声样品点，在拟合训练数据的同时也适合噪声，这会影响分类的效果。
决策树的叶节点缺少具有分类值的样本记录，这意味着应切断此叶子节点。
切碎策略
为了解决过度拟合，C4.5使用修剪来降低模型的复杂性。[2]提出了一种简单的修剪策略，以实现极度微型决策树的整体损失函数的总体损失函数（损失功能）或成本函数（成本函数）。决策树TT的损失函数是：
其中，C（T）C（T）表示决策树的训练错误。αα是调节参数，|t ||T |是模型的复杂性。当模型更复杂时，训练误差越小。上述定义的丢失恰好在两者之间具有平衡。
如果减少切割后的损失功能，则意味着这是有效的修剪。可以通过动态计划来实现特定的修剪算法。
4.参考材料
[1] Pang-nning Tan，Michael Steinbach，Vipin Kumar，数据挖掘的中断。
[2] Li Hang，“统计学习方法”。
[3] Naren Ramakrishnan，数据挖掘的十大算法。
结论：以上是首席CTO注释汇编的大数据算法相关内容的相关内容。希望它对您有所帮助！如果您解决了问题，请与更多关心此问题的朋友分享?