本文转载自雷锋网。从我的人工智能之旅开始，我就发现了一些具有无限潜力的想法和概念，它们在光辉的历史上留下了印记。今天，我决定列出一些最有趣的想法和概念（根据我自己的经验），这些想法和概念让我多年来一直坚持下去。希望他们能像激励我一样激励你。那么我们就从AI爱好者的“初恋”说起吧。1.神经网络——“受仿生学启发”每一个使用统计模型（如回归模型等）的新机器学习（ML）开发人员都是第一次学习人工神经网络（ANN））体验肾上腺素激增；这是深度学习的门槛。这里的基本思想是通过编程模仿生物神经元的工作，实现一般函数的逼近。神经科学和计算机科学这两个领域的融合本身就是一个令人兴奋的想法。我们稍后会详细讨论。从数学上讲，突触和连接是如何被压缩成大量矩阵乘法的；神经元的放电如何类似于激活函数，例如Sigmoids；大脑中的高级认知抽象和人工神经网络的黑匣子听起来既神秘又酷。所有这一切都给了新的ML开发人员希望，这是不可思议的。资料来源：作者提供（Canva制作）此时，新手认为：“从根本上说，这种仿生技术可以实现任何事情。毕竟，大自然会选择最好和最有效的方式来执行这个过程，不是吗？”它？”只有在后面的课程中他们才会学习到ANN的启发式方法的一部分，所以仍然会有很大的局限性。理论上，一切听起来都不错，但他们不切实际的雄心壮志消失了，就像错误配置的神经网络训练课程中的梯度（进入正题？lol).2.遗传算法-“向达尔文问好”遗传算法是另一类受自然启发的算法，可以应用于计算机科学领域。在这里你会找到所有与达尔文进化论相关的术语，如-突变，繁殖、种群、交叉、适者生存等等。这些进化算法背后的思想是遵循自然选择，只有最适应的个体才有机会繁殖。为了增加种群的多样性，最适合的个体所拥有的染色体每隔一段时间就会发生随机突变。在这里，“个人”指的是给定问题的一个可能答案。看一下它的工作流程图出处：来自作者（使用Canva设计），简明扼要吧？这个看似简单的算法可以应用在现实世界的很多场景中，比如-优化、递归神经网络的训练过程、某些问题求解任务的并行化、图像处理等等。尽管有这么多可能的方向，但遗传算法尚未产生任何实际结果。3.自编程序——《需要细心的程序员》作为遗传算法应用的续篇，这一篇无疑是最精彩的，值得单独一节。想象一个修改自己源代码的AI程序。它一次又一次地改进自己，循环多次，直到最终达到目的。很多人认为，自我完善/编辑代码+AGI=AI超级智能显然，实现这种方法有很多困难，但考虑一下2013年的这个实验：可以使用Brainfuck（一种编程语言）构建一个遗传算法打印的程序“你好”。那个遗传算法的源代码里并没有写编程原理，它只是一个简单的、古老的自然选择算法。它在29分钟内产生了这个-+++><>.]]]]当你在Brainfuck编译器中运行这段代码时，它会打印“hello”。实验成功了！这展示了遗传算法的强大功能，并在给定足够的时间和计算资源的情况下展示了它的能力。4.God'sODE-“SpiralLayer”回溯几年前，在提交给NeurIPS的4854篇研究论文中，这篇名为“God'sODE”的论文脱颖而出，成为最好的4篇论文之一。它有什么了不起？因为它确实改变了我们对神经网络的看法。传统的神经网络具有离散层，并依靠梯度下降和反向传播进行优化（寻找全局最小值）。随着我们增加层数，我们的内存消耗也会增加，但理论上我们不需要再这样做了。我们可以从离散层模型切换到连续层模型——从而拥有无限层。来源：上面提到的研究论文我们不需要提前确定层数。相反，输入您想要的精度并以不断记忆为代价观看魔术发生。根据论文，该方法在时间序列数据（尤其是不规则时间序列数据）上的表现优于传统的递归神经网络和残差网络。资料来源：上述研究论文。有了这项新技术，我们可以使用任何常微分方程求解器（OOESolver），如欧拉法代替梯度上升法，使整个过程更加高效。正如你所知，时间序列数据无处不在——从股市的金融数据到医疗保健行业，所以一旦这项技术成熟，它将有广泛的应用。但它仍在开发中。希望能往好的方向发展！5.Neuroevolution——“再次模仿自然”Neuroevolution是一个可以追溯到2000年代初期的古老思想，最近与强化学习领域中著名的反向传播算法的比较表明了它的前景和发展。例如在神经架构搜索、自动机器学习、超参数优化等领域。一句话，“neuroevolutionisatechniquethatusesgeneticalgorithmstoimproveneuralnetworks”，不仅要改进权重和参数，还要改进网络的（拓扑）结构（最新研究）。这是训练神经网络模型的梯度下降优化算法和进化优化算法之间的较量。来源：https://blog.otoro.net但是我们为什么要使用它呢？因为，在Uber最近的研究（DeepNeuroevolution）中，他们发现这种技术可以使模型比反向传播更快地收敛。在相对低端的PC上，几天的计算时间可以减少到几小时。如果您正在使用梯度下降训练神经网络并卡在局部最优或梯度发散等地方，??神经进化可以帮助您获得更好的结果。您无需为此更换支付费用。该技术可用于优化和训练神经网络，无论其在何处应用。“两个脑袋比一个脑袋好，不是因为一个脑袋不太容易出错，而是因为他们不太可能犯同样的错误。”-C.SLewis6.Google'sAIKid-“AICreatesAI”AdaptationSuperParameters是每个数据科学家都讨厌的乏味而乏味的任务。由于神经网络实际上是一个黑匣子，我们无法确切知道我们改变的超参数将如何影响网络的学习。2018年，谷歌通过名为NASNet的模型在自动化机器学习(AutoML)领域取得了突破。该物体识别模型的准确率为82.7%，比计算机视觉领域的任何其他模型都高出1.2个百分点，效率至少提高4个百分点。最重要的是，它是在另一个人工智能的帮助下使用强化学习方法开发的。资料来源：谷歌研究“神经网络设计神经网络”。..这确实是一个了不起的想法，你不这么认为吗？在这里，它的父AI称为控制器网络，它通过数千次迭代逐渐培养它的AI孩子。在每次迭代中，它都会计算孩子的表现，并使用此信息在下一次迭代中构建更好的模型。这种创造性的思维方式推动了“学会学习”（或元学习）的概念，它在准确性和效率方面可以击败地球上任何人类设计的神经网络。想象一下它可以在计算机视觉领域之外做什么。难怪这个概念激起了人们对超负荷人工智能最深切的恐惧。7.GAN——“神经网络与神经网络”GAN是生成对抗网络的简写，它可以学习模仿任意数据分布。这是什么意思？在GAN之前，机器学习算法专注于寻找输入和输出之间的相关性。它们被称为判别算法。例如，图像分类器可以区分苹果和橙子。当您将照片输入网络时，它会返回0（让它指代苹果）或1（指代橙子）。您可以将其视为分配标签。它在内部创建了一个模型，该模型确定哪些特征对应于苹果，哪些特征对应于橙子，并以一定的概率吐出一个标签。.然而。..虽然它们可能在内部有办法以某种方式表示苹果和橙子以便进行比较，但它们无法生成苹果和橙子的图片。这就是GAN的优势所在。GAN由两个网络组成-生成器和鉴别器。按照前面的例子，如果我们想生成一张苹果的照片，那么我会使用deconvnet作为生成器，使用convnet作为鉴别器。生成器一开始只是生成一个随机的噪声图像，并试图让它看起来像一个苹果。另一方面，鉴别器将尝试区分输入图像是真实的还是假的（由生成器生成）。如果鉴别器能够正确区分图像，那么生成器就必须努力改进自身以生成更逼真的图像。同时，判别器也在努力提高自己的判别能力。这意味着，无论如何，改进是不可避免的，问题是它发生在鉴别器还是生成器上。这看起来有点像双反馈回路。GAN的复杂性使其难以训练，在Nvidia最近发布的一篇研究论文中，他们描述了一种通过逐步改进生成器和鉴别器来训练GAN的方法。（有趣的说法！）。GAN的机制说的够多了，那我们怎么用呢？GAN的一些很酷的应用：老化人脸超高分辨率图像混合服装变换3D对象生成等。更多信息可以在本文中找到。8.迁移学习——“使用预训练网络”从头开始??训练神经网络的计算成本很高，有时甚至非常混乱。但是想象一下，我们可以从之前在其他数据集上训练过的另一个网络中获取知识，并在我们的新目标数据集的训练过程中重用它。通过这种方式，我们可以加快新领域的学习过程，并节省大量的计算能源和资源。把它想象成一场你跑在其他人前面的赛跑。不要浪费时间重新发明轮子显然，你不能在两个不相关的领域使用这项技术，但在某些领域——自然语言处理和计算机视觉，使用已经训练好的网络是一个新的规范来源：https://www.topbots.com/在计算机视觉领域，在物体检测、物体识别和图像分类任务中，人们会使用像VGGConvNet、AlexNet、ResNet-50、InceptionV3、EfficientNet等预训练网络。特别是在任务开始时。即使在神经风格迁移(NST)等任务上，您也可以通过使用VGG19快速获取内在表示来节省时间。在情感识别、语言翻译等NLP任务中，标准的是Stanford的GloVe（globalvectorrepresentingvocabulary）或Google的Word2Vec等各种词向量嵌入方法。谷歌的BERT、OpenAI的GPT-2（生成式预训练Transformer）、万能的GPT-3等最新的语言模型（那些大佬）就不提了。他们都接受过我们平民难以想象的海量信息训练。他们几乎将整个网络作为输入数据集，并花费了数百万美元对其进行训练。在这一点上，它看起来像是一个供我们将来使用的预训练网络。9.神经形态架构——“下一代材料”在看到软件世界取得如此大的进步之后，让我们关注一下硬件部分。但在此之前，先看看这个荒谬的比较。..人脑平均有860亿个神经元和大约1千万亿个突触。直觉上，你实际上可以通过解开你的大脑（有400,000公里的神经纤维）到达月球。如果你想模拟你的大脑，你需要消耗大量的计算能力（1exascale运算），这在目前的技术水平下是不可能的。即使是最强大的超级计算机也做不到那么多，更不用说我们的大脑了，它只需要20瓦的功率（比点亮灯泡还少）。为什么？因为“架构”出处：https://randommathgenerator.com/你知道吗，我们今天使用的每台计算机都是基于一种有75年历史的架构，称为冯诺依曼架构。在这种架构中，内存和处理器是相互分离的，这使得我们在执行计算密集型任务（例如大型矩阵乘法）时会遇到性能瓶颈。这个冯诺依曼瓶颈的出现是因为当我们执行一系列指令时，传入输入和获取输出的过程是顺序的。但在我们的大脑中，内存和处理单元本质上是相同的，使其能够以闪电般的速度处理大量数据，同时消耗极少的能量。在这里，内存和处理单元之间的链接是内存本身。一些公司，如IBM和英特尔，正试图模拟一种类似于我们生物大脑的架构。它最终会导致一种新的计算方式，神经形态计算。使用多个GPU和TPU的日子即将结束。我真的等不及那一天的到来了！进展：IBM的TrueNorth芯片和Intel的神经形态芯片。10.通用人工智能（AGI）——“我们的终极目标”当你听到有人尖叫“总有一天，人工智能会杀死我们所有人”时。那么AGI是最有可能做的事情。为什么？因为现在我们正在处理“弱人工智能”，这意味着我们当前的模型在其特定领域之外毫无用处。但是世界各地的科学家和研究人员都在努力开发一种人工智能，它可以执行各种各样的任务，或者可以学习完成任何给定的任务。如果他们成功了，可以预见这将引发一场智能大爆炸，远超人类智能，最终催生出超级智能。当这种情况发生时，超级智能就会变成具有感知力、自我意识和更高认知能力的存在。来源：https://www.theverge.com（忍不住放了这张照片）接下来会发生什么？只有上帝知道。这种情况有个说法。奇点是一个假设的时间点，届时技术发展将变得无法控制和不可逆转，最终导致人类文明发生不可预见的变化。-维基百科我们不能简单地停止它的发展吗？不，人工智能就是今天的电力。我们如此依赖它，以至于停止它的发展就像回到黑暗时代。而且，没有一个国家会停止发展，因为有一种共同的心态——“即使我们不发展，他们也会发展”——就像我们在制造具有大规模杀伤性的核武器时的心态一样。埃隆·马斯克的担忧并非空穴来风。他是认真的。总之，我觉得关于制作完美AI的方法已经说了一些要点。但谁在乎？除非我们有办法和他们一起生活。我希望从事Neuralink工作的人们能够在世界末日之前完成他们的脑机接口。ElonMusk设法在不将它们暴露给新一代黑客的情况下使用我们的大脑。为了乌托邦的未来，我们可以暂时停止争论。最后，我想说我非常喜欢写这篇文章，希望你也喜欢。
