应该通过复制我们的生物学来模仿人类智能吗？还是我们的精神病学与人工智能无关，就像鸟类生物学与航空航天工程无关一样？事情？这是一个人从构思概念开始就一直在思考的问题。我们想要构建智能系统，而人类可以说是唯一真正具有智能的物种。看看我们的灵感不是合乎逻辑的吗？但是，既然AI的构建块与生物学的基本部分如此不同，我们不应该忘记人类并遵循我们的研究引导我们走的道路吗？没有人知道AI的未来会怎样。我们所知道的是，深度学习现在越来越接近人类的认知。也许人类在智力方面并没有那么特别，但进化给了我们一些独特的特征，我们在创建人工智能系统时最好考虑这些特征。我们在这种环境中进化了数千年，慢慢适应了不变的自然法则。为什么不通过模拟抛光机制来绕过这个过程呢？在本文中，我将讨论目前处于AI研究前沿的五个示例。每一个都基于，至少松散地，基于人类认知功能的某些方面。这些概念将成为未来几年的核心，所以让我们密切关注它们。Transformer-人类注意力机制不久前，基于循环的架构主导了自然语言处理(NLP)。如果您面临NLP问题——翻译、语音到文本、生成任务——您要么使用了门控循环单元(GRU)，要么使用了长短期记忆(LSTM)。这两种架构旨在处理顺序输入数据。例如，系统可以接受一个英语句子并处理西班牙语翻译中的每个连续单词。这些模型的主要缺点之一是梯度消失问题。由于信息是按顺序处理的，当系统即将输出第一个法语单词时，只记住第一个英语单词。为了解决这个缺点，研究人员在2014年引入了注意力机制。通过模仿认知注意力，神经网络可以权衡上下文的影响。不再有信息丢失。2017年，谷歌的AI团队发布了最新的注意力机制。他说：注意力机制足够强大，可以解决语言任务。我们不需要重现，我们不需要顺序处理。他们发明了著名的Transformer架构。变形金刚影响了深度学习景观的完成方式，2012年，Hunting的团队在Imageenet挑战赛中赢得了计算机视觉(CV)竞赛。Transformer的工作原理是并行处理一个句子的所有单词（标记）并学习它们之间的上下文关系。与LSTM不同，Transformer不按顺序处理数据。培训时间要短得多。Transformer是当今任何NLP任务的传输架构。甚至CV科学家也开始将Transformer应用于图像和视频问题。即使是卷积也会存活下来。从2017年到2021年，研究人员进一步开发了Transformer，旨在解决各种缺点并提高性能。Transformer-XL更大，允许系统在更大的上下文中学习依赖关系。GPT-3——建立在原来的Transformer架构之上——看不到它的上下文窗口，这让人无法记住。改革者解决了培训成本过高的问题。它提高了效率并减少了训练时间，同时实现了最先进的性能。Transformer近年来最引人注目的一些应用是多任务AIS，例如Google的BERT、Openai的GPT系列（其中GPT-3是无可争议的明星）或拥有最大神经网络记录的无道2.0.Transformer也是新一代聊天机器人——Meena、Blenderbot2.0或Lamda背后的核心算法。它甚至在生物学领域站稳了脚跟。几天前，Deepmind宣布他们发布了alphafold2的代码和数据库，该模型可能有助于更深入地了解蛋白质折叠的工作原理。自监督训练——人类学习自2012年以来，有监督的深度学习系统主导了AI领域。这些系统从标记数据中学习，将新实例分类到学习过的类别中。我们将大量资源分类为分类训练示例，以方便学习。然而，这些模式匹配系统只能了解我们的任何信息。强化学习更类似于我们的学习方式。这些系统生活在受限的虚拟世界中，它们可以在其中执行有限的操作来获得奖励。深度研究人员几个月前发表论文，认为“奖励足够”才能实现通用人工智能。然而，并不是人们所做的每一件事都是为了优化奖励，就像加强人工智能一样。更不用说我们世界的复杂性，每个瞬间提供的可能行动的数量，或者我们想要或需要的复杂性和细微差别。由于上述原因，研究人员最近对无监督或自监督范式更感兴趣，正如YannLeCun喜欢称之为IT学习。他认为我们的学习与这些系统相似（至少与其他范式相比）。人类通过观察和感知世界学到很多东西。这就是自我监督学习。“[自监督学习]是在学习任务之前先学习代表世界的思想。这就是婴儿和动物所做的。[…]一旦我们对世界有了很好的表征，学习任务就需要很少的试验和样本。“监督学习系统学会在不关心世界的情况下寻找数据中的模式。强化学习系统学会在不关心世界的情况下优化奖励。自我监督学习系统需要代表世界，以便相互学习。这些系统可以从这些输入的可见部分学习输入的隐藏部分。例如，如果您向自我监督系统提供半个句子，它可以预测遗漏的单词。为此，他们需要更深入地了解事物之间的关系（这并不是说他们以与我们相同的方式理解世界，事实并非如此）。对大量标记数据（监督学习）和无数模拟（强化学习）的需求是一个障碍。自我监督学习旨在解决这两个问题。这些系统没有明确告诉他们必须学习什么。没有课程。没有任务。自我监督学习的一些重要成功与Transformer架构有关。例如，BERT或GPT-3已被证明在语言生成任务中很有用。自监督系统现在在许多NLP领域都是最先进的。这些系统的一个值得注意的缺点是它们无法处理连续输入，例如图像或音频。“人工智能的下一次革命不是监督学习，也不是纯粹的强化学习。”YannLeCun。及时编程-人类交流低代码和无代码计划在几十年前出现，作为对编码世界中日益增长的技能差距的回应。创建好的代码和知道如何处理不同点的任务设计生产流水线技术能力是昂贵的。随着软件产品变得越来越复杂，编程语言也越来越复杂。NoCode旨在解决非技术业务人员的这一差距。这是一种绕过编码的方式，让任何人都可以访问结果。知道howtorepresent几年前可以说说英语的重要性。你要么知道它，要么你错过了很多。工作机会，书籍和文章，论文和其他技术工作......未来，智能家居的百分比会增加。技术软件技能可能很重要，然后现在与如何修理管道或坏灯一样重要。在无代码计划和人工智能的未来，我们有提示编程。GPT-3是已知的使用提示的AI系统。Openai去年发布了API，人们很快就认识到了提示的独特性。这不一样;既不是人类，也不是正式意义上的编程。提示编程，因为叫它，可以理解为一种新的编程形式。它不那么肤浅，因为我们与系统通信——我们用自然语言对其进行编程。它不像用C或Python编程那么复杂。GPT-3引起了研究人员和开发人员的注意，许多人都积极寻找缺陷。一些人发现GPT-3在应该成功的地方失败了。然而，GWERN证明他们错了。他认为我们应该像用英语编程一样对待GPT-3。我们必须把它做好，而不是让一切都顺利。他重复了调整提示的测试，并成功地教会了GPT-3正确地完成任务。他说：“[Hinting]是使用DL[深度学习]模型的一种相当不同的方式，最好将其视为一种新型编程，其中hinting现在是一种‘程序’，程序GPT-3可以做新的事情。”GPT-3通过用英语编写提高了编程系统的可能性。系统可以理解我们的意图，并以一种毫无不确定性地解释它们的方式将它们翻译成计算机。一个月前，微软——去年与Openai合作——和Github发布了GithubCopilot。该系统由名为Codex的GPT-3后代提供支持，被创建为强大的代码自动完成功能。微软看到了GPT-3在创建代码方面的潜力，以及它如何理解英语并将其翻译成编写良好的功能计划.ReplicascanreaddescriptioninEnglish,commentaryexplainingitsfunctions,andnotedownfunctions.GPT-3和GitHubCopilot将无代码和提示编程的承诺结合到一个允许非技术人员访问编码世界的新时代。Hint编程的主要优点及其成功的原因在于，我们人类已经进化为使用自然语言而不是正式语言进行交流。英语有一系列直观的知识自己的规则。在理解我们使用的规则之前，我们学会了正确说话。我们没有发明规则然后遵守它们。我们发现我们已经遵循的规则。写python或c是不同的。我们称它们为语言，但它们在重要方面与英语不同。计算机需要明确的、未解释的命令来知道该做什么。编程语言有严格的语法规则，不能被破坏或者程序不能运行。没有捷径。如果你想和电脑交流，你不需要被提示编程，你必须学习它的语言。即使是像Python这样的高级语言，也需要大多数人不具备的高度技术专长。提示编程是编码的未来：我们将能够用自然语言对大多数东西进行编程。将有中间系统解决我们不精确、细微的统计数据与背景思想之间的转换，并正式指示计算机需要工作。多模态——人类感知直到最近，深度学习系统才被设计用来解决单模态问题。如果您想在机器翻译中实现最先进的性能，请使用英语-西班牙语文本数据训练您的系统。如果您想战胜ImageNet挑战，您的系统必须是最先进的对象识别系统，除此之外别无其他。NLP系统和CV系统差别很大，解锁难度大。现在，从神经科学中汲取灵感并试图模仿我们的感知机制，研究人员正专注于创建从不同类型的数据中学习的人工智能系统。与其根据他们的专业领域划分系统，为什么不让他们结合视觉和语言来源的数据呢？文本有信息。有图像信息。但是两者都有信息。这种多式联运系统的新趋势是Google和Beda分别用Mama和Wudao2.0所做的。这是试图使人工系统类似于人脑的一步。我们在多模式世界中发展。我们周围的事件和物体会产生不同类型的信息：电磁的、机械的、化学的……例如，苹果有颜色、形状、质地、味道、味道……这就是为什么我们的大脑是多用户的。我们有一系列感知系统，可以捕捉世界的多模态部分（其他生命形式有不同的感知系统，使它们能够感知我们在生物学上不了解的模式）。更有趣的是，大脑将信息与感知通道整合为一种现实表现形式。这是我们可以从这种功能中找到UmbuingAI的实用程序的地方。如果给模型的一对文本图像能让它更准确地代表世界，它可能会更准确地预测或行动，更好地适应环境。这就是今天对智力的定义：“通过使用遗传能力和学到的知识来理解和适应环境的能力。”具有眼睛、耳朵和手等人工功能的机器人以及GPT-3，因为大脑比当前任何AI都大，因此更强大。大脑是所有处理发生的地方，处理的是处理过的数据。未来的人工智能系统将有传感器、控制器和执行器，它们以一种信息处理快速、准确和丰富的方式相互连接。重点仍然放在以软件为中心的虚拟系统上，但一些研究小组已经成功整合了文本和图像数据。这些网络如何结合这两种类型的信息仍然是个谜（人类还没有完全理解），但现在的尝试已经成功了。Dall·E、Clip、Mum、UC2、五道2.0都是居住证明。多任务处理和任务转移——监督和增强AI系统的人类多功能性多次是糟糕的。即使是像AlphaZero这样旨在学习不同任务的系统，也必须为每个任务取消学习并重新学习。然而，自监督系统本质上更好。原因是他们以与任务无关的方式接受培训。由于这些系统没有被明确告知要从输入数据中学习什么，因此它们可以在不更改参数的情况下应用于不同的任务。GPT-3就是这种情况。GPT-3最有效的特性之一是它能够处理具有相同权重级别的不同任务。该系统内部并未进行机器翻译、问答或生成创意小说的更改。该系统主要通过互联网文本数据以无监督方式进行训练。但它不知道如何使用它学到的东西。在提示编程的帮助下，用户可以调节GPT-3来解决给定的任务。根据记录，GPT-3在几项未经训练的任务上达到了最先进的水平。这就是多任务处理和任务转移的力量。多任务系统可以将相同的输入应用于不同的任务。例如，如果我给系统输入“猫”这个词，我可以让它找到西班牙语翻译“gato”，我可以让它给我看一张猫的图片，或者我可以让它写一篇关于为什么猫这么奇怪。相同输入的不同任务。这个想法通常与小批量学习相结合。监督深度学习系统培训并对预选的班级集进行培训。如果CV系统学会了对汽车、飞机和轮船的图像进行分类，那么它只有在这三个类别上进行测试时才会表现良好。在少样本（或零样本/单样本）学习设置中，系统针对新类进行测试-没有权重更新。一个例子是在测试时向系统展示自行车的三张图像，然后要求它对汽车、飞机、轮船和自行车的图像进行一般分类。这几乎没有镜头，因为我们在测试时有3个案例3来展示自行车是什么。一个学会了如何学习的系统（比如GPT-3）应该能够在这些极端情况下表现良好。GPT-3证明这是可能的。其性能与监控系统无关。如果我们结合多任务和少镜头设置，我们可以构建一个能够解决我们没有接受过训练的任务的系统。在这种情况下，我们不会在测试时向系统显示新类，而是要求它执行新任务。通过几个镜头设置，我们将展示一些如何完成任务的示例。而且，在内部没有学习任何新东西的情况下，系统现在将被调整以解决新任务。例如，让我们拍一张系统训练系统的照片。在一次性任务转移设置中，我们可以写：“我爱你->tequiero。我恨你->____。”我们通过展示一个例子（单一设置），隐含地要求系统将一个句子从英语翻译成西班牙语（通过表明它没有被训练的任务）。如果我们考虑一下，我们人类可以做到这一点。我们是学习者。我们不只是学习做任务，而且我们知道如何学习做新任务。如果我看到有人在打扫房间，我就知道该怎么做。我明白扫帚的动作必须有方向、连贯才能清扫地板，我尽量协调手脚，使过渡顺畅。当有人训练我们时，我们不仅要理解。我们通过观察来学习。这就是几次任务转移的意义所在。AI系统开始变得更好。原文链接：https://towardsdatascience.com/5-must-know-ai-concepts-in-2021-75d8c1ff938
