今年，DeepMind公布了约2.2亿种蛋白质的预测结构，几乎涵盖了DNA数据库蛋白质中所有已知生物。现在，另一家科技巨头Meta正在填补微生物领域的另一个空白。简单来说，Meta使用AI技术预测来自细菌和其他尚未表征的微生物的约6亿种蛋白质的结构。团队负责人AlexanderRives说：“这些蛋白质是我们了解最少的结构，它们是非常神秘的蛋白质。我认为这些发现提供了深入了解生物学的潜力。”通常，语言模型是在大量文本上训练的。Meta为了将语言模型应用于蛋白质，Rives及其同事将已知的蛋白质序列作为输入，这些蛋白质序列由20个氨基酸组成，并由不同的字母表示。然后网络学会了自动完成蛋白质，同时掩盖一定比例的氨基酸。Meta将该网络命名为ESMFold。虽然ESMFold的预测性不如AlphaFold，但它在预测结构方面比AlphaFold快约60倍。这种速度意味着蛋白质结构预测可以扩展到更大的数据库。论文地址：https://www.biorxiv.org/content/10.1101/2022.07.20.500902v2项目地址：https://github.com/facebookresearch/esm今天作为测试，Meta决定将他们的模型应用到宏基因组学A完全从环境中收集的DNA数据库，包括土壤、海水、人体肠道、皮肤和其他微生物栖息地。MetaAI公布了超过6亿种蛋白质的ESM宏基因组图谱，这是蛋白质宇宙“暗物质”的第一个全面视图。它也是最大的高分辨率预测结构数据库，比现有的任何蛋白质结构数据库大3倍，并且是第一个全面、大规模覆盖宏基因组蛋白质的数据库。Meta团队总共在短短两周内预测了超过6.17亿个蛋白质结构。Rives说，这些预测是免费的，任何人都可以使用，就像模型的底层代码一样。互动版地址：https://esmatlas.com/explore?at=1%2C1%2C21.999999344348925例如下图ESMFold对PET酶的预测。引言众所周知，蛋白质作为由基因编码的复杂动态分子，主要负责生命的基本过程。蛋白质在生物学中发挥着惊人的作用。例如，人眼中的视杆细胞和视锥细胞感知光线，因此我们可以看到外面的世界；构成听觉和触觉基础的分子传感器；植物中将光能转化为化学能的复杂分子；运动我们肌肉的“马达”；分解塑料的酶；保护我们免受疾病侵害的抗体；这些都是蛋白质。1998年，威斯康星大学植物病理学系的JoHandelsman首先提出了宏基因组学（Metagenomics）的概念，其起源于认为来自环境的基因组在一定程度上可以作为单个基因组进行研究和分析，同时宏的英文就是meta-，也译为元。宏基因组学揭示了数十亿个蛋白质序列，这些序列对科学来说是新的，并且首先在由NCBI、欧洲生物信息学研究所和联合基因组研究所编制的大型数据库领导的公共项目中进行了编纂。MetaAI开发的一种新的蛋白质折叠方法，它利用大型语言模型在宏基因组数据库（具有数亿种蛋白质）中创建蛋白质结构的第一个综合视图。Meta发现，与现有的SOTA蛋白质结构预测方法相比，语言模型预测蛋白质原子级三维结构的速度提高了60倍。这一进展将有助于加速蛋白质结构理解的新时代，从而首次有可能了解基因测序技术编目的数十亿蛋白质的结构。解锁隐藏的自然世界：宏基因组结构空间的第一个综合视图我们知道，基因测序的进步使得对数十亿个宏基因组组蛋白序列进行编目成为可能。但是通过实验确定数亿蛋白质的3D结构远远超出了X射线晶体学等耗时实验室技术的范围，X射线晶体学可能需要数周甚至数年才能检查单个蛋白质。计算方法可以深入了解使用实验技术无法实现的宏基因组蛋白质。ESM宏基因组图谱将使科学家能够在数亿种蛋白质的规模上搜索和分析宏基因组蛋白质的结构。这可以帮助识别以前未表征的结构，寻找遥远的进化关系，并发现可用于医学和其他应用的新蛋白质。以下是包含数万个高置信度预测的图谱，显示了与目前已知结构的蛋白质的相似性。而且，该图像首次揭示了蛋白质结构空间中一个完全未知的更大区域。Learningtoreadbiologylanguage如下图所示，ESM-2语言模型被训练来预测在进化过程中被序列掩盖的氨基酸。MetaAI发现，作为训练的结果，有关蛋白质结构的信息出现在模型的内部状态中。这是令人惊讶的，因为该模型仅针对序列进行训练。就像论文或信件的文本一样，蛋白质可以写成字符序列。每个字符对应20种标准化学元素（氨基酸）中的一种，每种元素具有不同的特性，它们是蛋白质的组成部分。这些构建块可以以天文学上不同的方式组合在一起——例如，对于200个氨基酸的蛋白质，有20^200种可能的序列，这比可见宇宙中的原子数量还多。每个序列折叠成3D形状（但并非所有序列都折叠成连贯结构，许多序列折叠成无序形式），正是这种形状在很大程度上决定了蛋白质的生物学功能。学习阅读这种生物语言提出了巨大的挑战。虽然蛋白质序列和文本段落都可以写成字符，但它们之间存在深刻而根本的差异。蛋白质序列描述了根据物理定律折叠成复杂3D形状的分子的化学结构。蛋白质序列包含传达有关蛋白质折叠结构信息的统计模式。例如，如果蛋白质中的两个位置共同进化，或者换句话说，如果某个氨基酸出现在一个位置，它通常会与另一个位置的某个氨基酸配对，这可能意味着这两个位置是在折叠结构中。相互作用。这就像拼图的两块，进化必须选择在折叠结构中组合在一起的氨基酸。这反过来意味着我们通常可以通过观察其序列模式来推断蛋白质的结构。ESM使用AI来学习阅读这些模式。2019年，MetaAI提供了语言模型学习蛋白质特性（例如它们的结构和功能）的证据。通过一种称为掩码语言建模的自我监督学习形式，MetaAI在数百万个天然蛋白质序列上训练了一个语言模型。使用这种方法，模型必须正确填写文本段落中的空白，例如“To_ornotto,thatisthe_____”。之后，MetaAI训练了一个语言模型来填补蛋白质序列的空白。他们发现有关蛋白质结构和功能的信息从这次培训中浮现出来。2020年，Meta发布了SOTA蛋白质语言模型ESM1b，用于各种应用，包括帮助科学家预测COVID-19的进化并发现疾病的遗传原因。现在，MetaAI扩展了这种方法来创建下一代蛋白质语言模型ESM-2，该模型有150亿个参数，是迄今为止最大的蛋白质语言模型。他们发现，当模型参数从800万扩大到150亿时，内部表示中会出现信息，从而能够以原子分辨率进行3D结构预测。蛋白质折叠的数量级加速在下图中，随着模型的放大，高分辨率的蛋白质结构出现了。随着模型的放大，新的细节出现在蛋白质结构的原子分辨率图像中。使用当前的SOTA计算工具，在现实的时间尺度上预测数亿个蛋白质序列的结构可能需要数年时间，即使有主要研究机构的资源也是如此。因此，预测速度的突破对于宏基因组规模的预测至关重要。MetaAI发现，使用蛋白质序列的语言模型大大加快了结构预测速度，最高可达60倍。这足以在短短几周内对整个宏基因组数据库进行预测，并且可以扩展到比我们当前发布的数据库大得多的数据库。事实上，这种新的结构预测能力能够在大约2000个GPU的集群上仅用两周时间就预测出超过6亿个宏基因组蛋白质的序列。此外，当前的SOTA结构预测方法需要搜索大型蛋白质数据库来识别相关序列。这些方法实际上需要输入一整套进化相关的序列，以便它们可以提取结构相关的模式。MetaAI的ESM-2语言模型在其对蛋白质序列的训练中学习了这些进化模式，从而能够直接从蛋白质序列中对3D结构进行高分辨率预测。下图显示了使用ESM-2语言模型的蛋白质折叠。从左到右的箭头表示网络中的信息流向，从语言模型到折叠树干再到结构模块，最后输出3D坐标和置信度。更多细节请参考原文。博客链接：https://ai.facebook.com/blog/protein-folding-esmfold-metagenomics/
