大数据人工智能技术,包括应用层面的机器学习、神经网络、深度学习等,是现代人工智能的核心技术.在大数据的背景下,这些技术得到了质的提升。人工智能、机器学习和深度学习的包含关系如下图所示。基本概念的理解1.机器学习又称统计学习理论,是人工智能的一个重要分支。它通过数据分析获得数据规律,并应用这些规律来预测或确定其他未知数据。机器学习已广泛应用于数据挖掘、自然语言处理、语音识别等领域,尤其是在搜索引擎领域。搜索引擎是人工智能技术发展的排头兵。目前,百度将自己定位为一家人工智能公司,搜狗王小川也将人工智能视为未来。面对海量数据,机器学习方法取得了显着的效果。具体算法包括决策树、感知器、支持向量机、马尔可夫链和最近邻方法。拥有大规模用户搜索引擎业务的企业最先接触到大数据,其对机器学习的需求远超其他企业。这类公司之所以使用人工智能技术,就是希望自己的搜索结果更加准确,甚至可以直接提取用户的答案。人工智能的发展经历了从“推理”到“知识”、从“知识”到“学习”的重要过程。机器学习一直在解决人工智能道路上的问题。机器学习不是一门单一学科,而是一门与数学、计算机、生物学等领域交叉的学科。机器学习目前不仅应用于搜索引擎,还应用于生物识别、生物医学研究、证券分析等领域,并取得了不错的效果。从另一个角度看机器学习,机器学习的“学习”是指机器学习算法试图沿着某个维度进行优化,可以理解为它们通常试图以最小的错误率最大化其预测。可能性。因此有了三个名称:误差函数、损失函数和目标函数,因为每个机器学习算法都有一个学习目标。当机器学习算法应用于项目或项目时,可以通过确定输入、输出、目标函数和最小错误率来评价算法的功能和效果。对于机器学习算法中的输入输出,一般情况下,初步测试的输入输出对应的结果是错误的。如果存在与输入对应的输出,则可以通过将其与预期输出进行比较来衡量。猜测的准确性然后使用该错误来修改算法是监督学习的常见方式。他们不断地估计输出并修改估计过程的参数,直到错误率达到极值。2.神经网络神经网络(ArtificialNeuralNetwork)是机器学习的重要算法,也是深度学习发展的基础算法。它的思想影响了深度学习,使深度学习成为人工智能中最重要的技术之一。神经网络作为一种常用的方法,是一种模仿生物神经网络结构和功能的数学模型,也是一种自适应计算模型。它通过感知外部信息的变化来改变系统的内部结构。神经网络由许多神经元组成,神经元之间的相互联系构成了一个庞大的信息处理网络。假设做一件事有多种方法,那么神经网络会告诉设计者哪种方法是最好的方法。神经网络的优势在于它是一个能够通过已有数据进行自我学习、归纳归纳的系统,能够推理生成智能识别系统,从而成为人工智能技术的重要基石。3.深度学习是机器学习的一个重要分支,是传统神经网络的重要延伸。深度学习的网络结构有很多,如深度神经网络、卷积神经网络、循环神经网络等,作为多层非线性神经网络模型,具有强大的学习能力。通过与大数据、云计算和GPU并行计算相结合,在图形、图像、视觉、语音等方面取得了很好的效果,远超传统机器学习的效果,因此深度学习被大众视为重要的人工智能迈出一大步。2016年3月,基于深度学习的人工智能围棋应用AlphaGo在一场围棋比赛中击败人类围棋高手,成为热门话题。深度学习已经广泛应用于图像处理、语音识别、生物特征识别等领域,并受到业界的高度评价,这使得深度学习不断发展,加速人工智能的发展。深度学习与机器学习的关系过去,机器学习的方法大多是浅层结构。即使采用非线性处理方法,这些浅层结构的深度往往也不会太深。大约花了一年左右的时间才改变;随着计算能力的增加,计算深度也随之增加。机器学习中常见的浅层结构包括高斯混合模型、支持向量机、绝对熵模型、逻辑回归、多层感知器等。实践不断告诉我们,浅层结构在解决一些简单问题时效果较好,但在处理复杂多变的问题时效果较差,比如语音、视频等。深度学习的基础研究来源于神经网络。最常见的神经网络类型是前馈神经网络。如果它有多个隐藏层,就可以称为深度神经网络(DeepNeuralNetwork)。深度神经网络可以显着提高问题的处理效果。虽然目前的训练过程需要强大的计算能力,但借助GPU和分布式计算,可以在保证效果的前提下,有效提升计算效率。深度学习可以处理任何类型的数据,例如:(1)声音。主要用于语音识别、语音合成、语音模拟等。(2)TEXT。包括自然语言处理、自然语言生成等。(3)图像。对于计算机视觉领域,包括图像分类、图像目标检测、图像语义分割等。(4)时间序列。主要在数据感知、关联事件分析等细分领域。(5)视频。主要在视频内容理解、智能视频广告等领域。深度学习几乎可以解决任何机器感知问题,包括对数据进行分类、聚类或进行预测分析。(1)分类:例如垃圾邮件和非垃圾邮件的归档。(2)聚类:例如对相似度高的文档进行归档。(3)预报:例如,根据历年的气象资料和近期的天气变化,预测下周的天气情况。深度学习非常适合非结构化数据,比如上面提到的图像、视频、声音和文本。图像是像素的组合,消息是文字的组合。在典型的关系数据库中,这些数据不是按行和列组织的,这使得用机器学习的浅层结构来表征它们相对困难。深度学习的常见用例包括情感分析、图像分类、预测分析、推荐系统、异常检测等。深度学习与人工智能的关系从开头的附图可知,深度学习是机器学习的一个子集,机器学习是人工智能的一个子集,所以深度学习是人工智能的一个子技术分支智力。智能程序是一种广泛使用的计算机智能程序,它可以通过一系列条件判断而形成,但这种智能程序往往易于理解,因此智能程序还不能被视为目前的人工智能。人工智能是对面向数据的结果进行深入分析。结果的推理过程,人类无法快速推理,需要计算机辅助完成。深度学习是借助计算机完成的一种更好的人工智能技术。由于机器学习是人工智能的一个技术分支,所以总有一些属于人工智能领域但不属于机器学习领域的算法或模型,如规则引擎、专家系统、进化算法等。它们都属于人工智能的技术体系,但它们都不是机器学习。深度学习是人工智能技术的一个子集。在图像识别、语音识别、推荐系统等一系列重要领域,深度神经网络不断刷新着各项指标,甚至超越了人类的认知范围。由DeepMind开发的知名人工智能程序AlphaGo在2016年击败了前世界围棋冠军李世石,这也是深度学习技术影响各个领域的场景之一。深度学习中的“深度”是一个技术术语,泛指神经网络的层数。浅层网络有一个所谓的隐藏层,而深层网络则不止一个。对于一般的简单数据特征,它会从网络层的一层传递到下一层,具有映射关系,而深度神经网络的层次结构可以表达更复杂的数据映射关系,以表示更复杂的特征。人工智能面临的问题也具有多层次数据的复杂特性,因此深度学习可以有效解决各个行业的一些复杂问题。
