一、机器学习的定义机器学习（MachineLearning）是计算机科学的一个子领域，是人工智能的一个分支和实现。机器学习关注的是计算机程序如何根据经验自动提高性能。机器学习的正式描述：对于某种类型的任务T和性能度量P，如果计算机程序在T上由P度量的性能通过经验E提高了自身，则称该计算机程序正在从经验E中学习。主要理论机器学习的基础涉及概率论、数理统计、数值逼近、优化理论、计算复杂度理论等，核心要素是数据、算法和模型。2.机器学习的发展机器学习的发展分为几个阶段：知识推理期、知识工程期、浅层学习和深度学习。在机器学习的发展过程中，随着人们对智能的认识和对现实世界问题解决方案的演进，大致出现了五种思想流派：符号主义、贝叶斯主义、联结主义、进化主义和行为类比主义。三、机器学习的演进四、机器学习、人工智能和数据挖掘机器学习是人工智能的一个分支。它是实现人工智能的核心技术，即利用机器学习作为解决人工智能问题的手段。机器学习就是利用一些算法，让计算机自动从数据中“学习”和分析出规律，然后利用规律来预测新的样本。数据挖掘就是从大量的业务数据中挖掘隐藏的、有用??的、正确的知识，以促进决策的执行。数据挖掘的很多算法来源于机器学习，并在实际应用中进行了优化。近年来，机器学习也逐渐跳出实验室，解决从实际数据中学习模式的问题，解决实际问题。数据挖掘和机器学习的交集正在增长。5.机器学习典型应用领域艺术创作金融领域医疗领域自然语言处理网络安全工业领域娱乐业6.机器学习应用人机大战AlphaGo是深度卷积神经网络CNN，强化学习RL，蒙特卡洛树搜索MCTS3结合产品趋势预测谷歌流感趋势预测?社保诈骗反垃圾邮件系统个性化推荐七、机器学习过程机器学习是一门容易上手难精通的学科机器学习分析师需要掌握行业知识才能理解业务processes，了解数据背后隐藏的信息来合理解读数据，从变化和时间维度的角度把握需求来决定使用哪些数据，这是数据分析的基础机器学习的主要过程是厘清分析目标、数据收集、数据预处理ssing、建模分析、结果评估、部署使用、学习更新。8、如何做机器学习明确数据分析目标：明确数据分析目标是机器学习的第一个重要步骤，这一步需要与用户进行充分的沟通。数据收集：充足、全面、高质量的数据是机器学习的基础。数据预处理：数据清洗，为保证数据质量，需要进行必要的数据治理。数据建模：算法本身没有绝对的好坏，不同的机器学习算法有自己的适用范围。选择合适的建模方法或算法，需要通过实验来证实算法的好坏。此阶段是机器学习的核心部分，使用复杂的分析方法从数据中提取知识，包括选择建模技术、生成测试设计以及构建和评估模型。算法调优（包括参数或结构等），机器学习算法是科学，应用是艺术。性能评估：一旦选择了模型，就该评估机器学习结果在多大程度上有助于实现业务目标。此阶段的要素包括评估学习成果以向机器学习过程提供反馈。部署更新：有效的机器学习结果将提升客户业务决策的效果，为客户带来价值。由于业务可能发生变化，因此在部署过程中需要更新机器学习模型。机器学习不是一劳永逸的事情（增量学习）。9.机器学习常用算法监督学习：支持向量机SVM、决策树、朴素贝叶斯分类、k近邻算法KNN无监督学习：主成分分析、奇异值分解、K均值聚类强化学习：Q-学习聚类算法分类算法回归分析相关分析十．数据挖掘推荐算法常用算法社交网络分析-文本分析十一．机器学习常见问题数据质量问题及预处理数据量少维度过多灾难数据不完整异常数据12.数据分析常见陷阱1.误解相关事物之间的相关性并不代表有因果关系，或者认为因果关系关系可能会逆转。需要深刻理解业务，避免大部分错误。需要分析是否是第一个三向变量导致两个变量同时发生变化，找出原因2.错误的比较对象在机器学习中比较结果或效果时，它便于比较不同样本集的结果。如果比较对象不合理，结果自然是无效的。结论不能成立3、数据采样数据采样出现偏差，可能会影响分析结果。需要考虑抽样标准。4.忽略或关注极值。忽略极值可能会丢失某些类型的样本或丢失一个重要的特征。过分关注极值可能会导致结果出现偏差，影响结论5.相信在重合数据实验中反复实验可以避免重合数据的出现6.当比较两个数据时数据没有归一化,容易比较总数而忽略比例的比较712.忽略第三方数据收集或使用爬虫获取更多数据丰富数据源8.过分关注统计指标可能会忽略先决条件某些方法或结论。12.机器学习方法的选择理解目标需要机器学习方法选择的关键是先对问题进行分类。如果数据集中有标签，就可以进行监督学习。相反，可以应用无监督学习。熟悉各种机器学习方法的特点是选择分析方法的基础。对于各种分析算法，不仅要了解如何使用，还要了解它们的实现原理。在选择模型之前，需要对数据进行探索性分析。在机器学习方法的选择过程中，您可以在几种可能的模型中分析并选择一个更好的模型。选择模型后，比较不同的模型。模型拟合程度，反复调整参数稳定模型结果13.机器学习项目组组建职能岗位项目经理业务专家机器学习工程师数据建模师可视化人员测评人员其他14.机器学习人才培养难数学要求高学习成本高跨学科综合能力实践机会少15.机器学习技能要求16.常用机器学习平台PythonRTensorFlowCaffe开源社区Github
