当前位置: 首页 > 科技观察

机器学习已经成为大数据的基石

时间:2023-03-20 18:45:56 科技观察

机器学习几乎无处不在,即使我们不专门称呼它们,它们也经常出现在大数据应用中。我已经在博客上介绍了一些典型的大数据用例。换句话说,这些应用程序都能够在“极端情况”下提供最佳结果。在结论部分,我还提到了PB级数据容量、实时数据速度和/或多结构数据多样性的组合。当时我也做了一个应用列表,在采集过程中有意避开了“机器学习分析”。主要原因是,虽然机器学习在这些用例中是一种常见的(如果不是主要的话)工具,但它们本身并不是一个用例。换句话说,它们并不是一个独立形成的特殊应用领域。出于同样的原因,我也没有将模式设计、元数据管理或数据集成列为大数据用例。但就像机器学习一样,它们都为实现大数据分析应用程序的价值做出了自己的贡献。机器学习对大数据应用投资回报的贡献主要体现在两个方面:一是提升了数据科学家的生产力;忽略。这些价值来自于机器学习的核心功能:即使分析算法能够在无需人工干预和显式编程的情况下从高级数据中学习。该解决方案允许数据科学家基于典型数据集创建模型,然后利用算法自动概括这些范例和新数据源并从中学习。在很多情况下,机器学习是大数据创新的最大投资回报。投资机器学习可以深化任何为企业量身定制的大数据案例。这是因为机器学习算法在容量、速度和类型(大数据的3V特征)方面变得越来越高效。正如MarkvanRijmenam在最近一篇关于机器学习的文章中所说:“处理的数据越多,算法就会越好。”许多机器学习应用程序,包括优化和推荐引擎,可能被描述为有意义的分析。有意识的分析需要持续监控用户的语义方式、内容和从数据流中推断出的重要性。为了支持意识的自动化,机器学习算法必须经常处理一些极其复杂的事情。这包括构成对象或环境的隐藏语义分类,这需要通过许多不同的数据流实时收集整体含义。这些数据流必须包括不同的对象,例如数据、视频、图像、语音、表情、动作、地理信息和浏览器点击等元素。机器学习从这些数据流中自动提取的含义可能混合了认知、情感、感觉和意志特征。为了在这些材料中寻找蛛丝马迹,“深度学习”成为大数据科学家机器学习宝库中的重要工具。正如vanRijmenam所说,使用神经网络进行深度学习可以帮助从这些数据流中提取感知,这可能涉及构成对象之间语义关系的层次安排。“深度学习可以打破数据中具有不同特征的成分之间的壁垒,并利用这些特征在其中找到不同的特征组合,从而弄清楚它们在看什么或在做什么。”范里杰梅纳姆说。显然,机器学习是创建能够感知和处理动态分布式场景的环境的基本工具。人类对恐怖活动、自然灾害、飓风等实时威胁和其他威胁的检测和响应能力,取决于对海量数据中信息的自动筛选、分类和关联。没有这种能力,人类就有被“淹没”在大数据海洋中的危险。36大数据知识图谱:关于机器学习机器学习(ML)是一门多领域的交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂性理论等学科。专门研究计算机如何模拟或实现人类的学习行为以获得新的知识或技能,并重组现有的知识结构以不断提高其性能。它是人工智能的核心,是计算机实现智能化的根本途径。其应用遍及人工智能的各个领域。它主要使用归纳和综合而不是演绎。