1。人工智能浪潮中的又一标志性事件,AlphaGo战胜了李世石。AlphaGo是由谷歌子公司DeepMind的DavidSilver、AiJiaHuang和DemisHassabis及其团队开发的围棋人工智能程序。这个程序使用“价值网络”来计算情况,使用“策略网络”来选择一下子。2015年10月,AlphaGo以5:0战胜欧洲围棋冠军、职业二段棋手范辉;2016年3月与世界围棋冠军、职业九段棋手李世石交手,总比分4:1获胜。这让人工智能的浪潮再次高涨,热浪高涨。alphago的核心使用了“深度卷积神经网络”和“MCTS,蒙特卡洛搜索树”算法。接下来,我们来了解一下深度学习的本质是什么?深度学习==人工智能?2.深度学习的起源和概念深度学习的概念来源于人工神经网络的研究。具有多个隐藏层的多层感知器是一种深度学习结构。深度学习结合低层特征,形成更抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习的概念是由Hinton等人提出的。2006年,基于深度信念网络(DBN),提出了一种无监督贪心逐层训练算法,为解决深层结构相关的优化问题带来了希望,进而提出了多层自动编码器深度提出结构。此外,Lecun等人提出的卷积神经网络。是第一个真正的多层结构学习算法,它利用空间相对关系来减少参数数量来提高训练性能。深度学习是机器学习研究的一个新领域。其动机是建立和模拟人脑的神经网络进行分析和学习。它模仿人脑的机制来解释图像、声音和文本等数据。与机器学习方法一样,深度机器学习方法也分为有监督学习和无监督学习。不同学习框架下建立的学习模型有很大差异。例如,卷积神经网络(简称CNNs)是一种深度监督学习下的机器学习模型,而DeepBeliefNets(简称DBNs)是一种无监督学习下的机器学习模型。3、深度学习解决什么问题?从一个输入产生一个输出所涉及的计算可以用流图来表示:流图是一种可以表示计算的图,这个图中的每个节点代表一个基本的计算和一个计算值,计算的结果是应用于此节点的子节点的值。考虑在每个节点和可能的图结构上允许的计算集合,并定义一个函数族。输入节点没有父节点,输出节点没有子节点。这种流程图的一个特殊属性是深度:从输入到输出的最长路径的长度。传统的前馈神经网络可以被视为具有等于层数的深度(例如,隐藏层数加1为输出层)。SVM的深度为2(一个对应于内核输出或特征空间,另一个对应于结果输出的线性混合)。人工智能研究的一个方向是以所谓的“专家系统”为代表的,它定义了大量的“如果-那么”(If-Then)规则,是一种自上而下的思维方式。人工神经网络(ArtificialNeuralNetwork),标志着另一种自下而上的思维方式。神经网络没有严格的正式定义。它的基本特征是试图模仿大脑在神经元之间传输和处理信息的方式。3.1大脑具有深层结构1981年诺贝尔医学生理学奖授予了神经生物学家戴维·休贝尔。他的主要研究成果是发现了视觉系统的信息处理机制,证明了大脑的视觉皮层是分等级的。有两个主要贡献。一是他认为人类的视觉功能是抽象和迭代的。抽象就是将图像中非常具体的元素,即原始光像素等信息抽象出来,形成有意义的概念。这些有意义的概念会向上迭代,变成更抽象、抽象的概念,人们可以感知。像素没有抽象的意义,但人脑可以将这些像素连接成边,边相对于像素成为一个相对抽象的概念;然后边缘形成一个球体,然后球体到达气球,这是另一个抽象过程。大脑最后,我知道我看到的是一个气球。视觉皮层确实显示了一系列区域,每个区域都包含输入的表示和从一个到另一个的信号流(此处忽略了一些分层并行路径上的连接,因此更复杂)。此特征层次结构的每个级别代表不同抽象级别的输入,并且级别的较高级别具有根据较低级别特征定义的更多抽象特征。请注意,大脑中的表示密集分布在中间且纯粹是局部的:它们是稀疏的:1%的神经元同时处于活动状态。给定大量神经元,仍然存在非常有效(指数有效)的表示。3.2认知过程逐层进行,逐渐抽象人类分层组织思想和概念;人类首先学习简单的概念,然后用它们来表示更抽象的概念;工程师将任务分解为多个抽象层次进行处理;learning/discovery这些概念(知识工程因缺乏内省而失败?)很美。对语言可表达概念的反省也向我们表明了一种稀疏表示:所有可能的词/概念中只有一小部分适用于特定输入(视觉场景)。4.深度学习的适用场景深度学习在语音识别和图像处理方面取得了巨大的成功。从2013年和2014年开始,自然语言处理领域也掀起了一波深度学习应用浪潮。随着研究的深入,其他领域还在探索中,比如自动驾驶等。5、深度学习等同于人工智能吗?5.1强人工智能和弱人工智能人工智能的一个比较流行的定义,也是该领域较早的一个定义,是由JohnMcCarthy于1956年在达特会议上提出的,在达特茅斯会议上提出:人工智能是使行为机器看起来像人所表现出的智能行为。但这个定义似乎忽略了强人工智能的可能性(见下文)。另一种定义是指人工智能是人工机器所表现出的智能。一般来说,目前对人工智能的定义大多可以分为四类,即机器“像人一样思考”、“像人一样行动”、“理性思考”和“理性行动”。这里的“行动”应该广义地理解为采取行动,或者决定采取行动,而不是实际行动。强人工智能:强人工智能的观点认为,有可能创造出能够真正推理(Reasoning)和解决问题(Problem_solving)的智能机器,而这样的机器可以被认为是有感知力和自我意识的。强人工智能可以分为两种类型:类人人工智能,机器像人类一样思考和推理。非人人工智能,即机器具有与人类完全不同的感知和意识,使用与人类完全不同的推理方法。弱人工智能:弱人工智能观点认为,不可能创造出真正能够推理(Reasoning)和解决问题(Problem_solving)的智能机器。会有自我意识。主流科学研究都集中在弱人工智能上,普遍认为该领域的研究已经取得了可观的成果。强人工智能的研究处于停滞状态。目前深度学习还是其他算法,更多的是弱人工智能,根本没有思考推理能力。深度学习有点low,它做的本质是分类。6.深度学习的研究方向Hinton、Bengio和LeCun在Nature***上发表了一篇DeepLearning的综述,总结了深度学习的三大发展方向:1)无监督学习。无监督学习在深度学习的最初几年发挥了非常重要的作用,例如以无监督方式训练深度信念网络和稀疏自动编码器。使用无监督学习主要是为了预训练得到一个更好的初始值,然后使用有监督训练进行微调。但是随着计算能力的发展,人们发现只要数据集足够大,纯监督学习也可以获得更好的性能,所以非监督学习这几年并没有太大的发展。Hinton和其他人希望未来可以实现无监督学习学习可以走得更远,因为人类和动物的学习在很大程度上是无监督的:我们通过观察世界来学习,而不是让老师教我们世界是如何运作的。2)深度强化学习。深度强化学习的主要思想简单来说就是把深度学习和强化学习结合起来,是一种从感知到行动的端到端的学习。简单来说,就是和人类一样,输入视觉等感知信息,然后通过深度神经网络直接输出动作,中间没有人工特征。深度强化学习有可能让机器人自己学习一项甚至多项技能。深度强化学习最突出的代表是DeepMind。公司在NIPS2013上发表了《PlayingAtariwithDeepReinforcementLearning》一文,这篇文章首先提出了深度强化学习的名称,然后在Nature上发表了改进版。Human-levelcontrolthroughdeepreinforcementlearning一文引起广泛关注,深度强化学习从此成为深度学习领域的前沿研究方向。在最近的李世石大战AlphaGo中,AlphaGo背后的技术也是深度强化学习。DeepMind于2016年在Nature上发表了AlphaGo背后的技术MasteringthegameofGowithdeepneuralnetworksandtreesearch。3)自然语言理解。自然语言理解也是深度学习在未来几年可以发挥重要作用的领域。使用深度学习技术的各种应用,如神经机器翻译、问答系统、摘要生成等,都取得了很好的效果。效果的提升主要得益于注意力机制与循环神经网络相结合的强大能力。相信未来几年会有很多相关的工作。【本文为《大数据与云计算》专栏作者原创稿件,转载请通过微信公众号联系授权】点此查看作者更多好文
