目录语言模型超越天然蛋白质一种用于生成蛋白质设计的高级编程语言DOC：使用详细的轮廓ControScalableDiffusionModelswithTransformersPoint-E提高LongStoryCoherence：ASystemforGenerating来自复杂提示的3D点云重新编程以恢复年轻的表观遗传信息并恢复视力训练机器人以评估机器人：用于政策学习的基于示例的交互式奖励函数ArXiv每周广播电台：NLP、CV、ML更多特色论文（带音频）论文1：语言模型泛化超越naturalproteins作者：RobertVerkuil,OriKabeli等论文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf摘要：ResearchersfocusontwoproteindesignsTask:fixedskeleton指定结构的设计；从模型中无约束地生成采样结构。尽管语言模型仅针对序列进行训练，但研究发现它们能够设计结构。在本研究的实验结果中，一共生成了228个蛋白质，设计成功的比例为152/228（67%）。在152个实验成功的设计中，35个与已知的天然蛋白质没有明显的序列匹配。对于固定主干设计，语言模型成功地为八个经过实验评估的人工创建的固定主干目标生成了蛋白质设计。对于无约束生成的情况，采样的蛋白质覆盖了不同的拓扑结构和二级结构组成，从而获得了71/129（55%）的高实验成功率。下图1是用ESM2模型设计蛋白质的全过程：建议：本研究发现ESM2语言模型可以通过学习深度语法生成天然蛋白质以外的新蛋白质。论文2：Ahigh-levelprogramminglanguageforgenerativeproteindesign作者：BrianHie,SalvatoreCandido等论文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1.full.pdf摘要：FAIR研究人员从模块化和可编程性入手，并将两者置于更高的抽象层次。蛋白质设计者只需要将高层指令重新组合，然后在生成模型上执行指令即可。他们提出的用于生成蛋白质设计的编程语言允许设计人员指定直观的、模块化的和分层的程序。编程语言首先需要一个语法树（图1A），由终端符号（即树的叶子）和非终端符号（即树的内部节点）组成，前者对应一个独特的蛋白质序列（可能在蛋白质中重复），后者支持层次组织。此外，还需要一个基于能量的生成模型。首先，蛋白质设计者指定了一个高级程序，该程序由一组按层次结构组织的约束组成（图1A）。然后，该程序被编译成一个能量函数，用于评估与约束的兼容性，这些约束是任意的和不可微分的（图1B）。最后，通过将原子级结构预测（由语言模型支持）结合到能量函数中，可以生成大量复杂的蛋白质设计（图1C）。建议：以编程方式生成复杂和模块化的蛋白质结构。论文3：DOC:ImprovingLongStoryCoherenceWithDetailedOutlineContro作者：KevinYang,DanKlein等论文地址：https://arxiv.org/pdf/2212.10077.pdf摘要：前段时间，语言模型Rethat模仿人类写作过程^3发布，模型不需要对大模型进行微调，而是通过设计提示生成一致的故事。现在，研究团队提出了一种用于生成故事的新模型DOC。论文作者KevinYang和田远东也在推特上发文宣传DOC模型，称DOC比Re^3生成的故事更连贯、更有趣。DOC框架是DetailedOutlineControl的意思，在自动生成千字长篇的时候用来提高剧情的连贯性。DOC由两个互补的组件组成：详细大纲组件（DetailedOutliner）、详细控制器（DetailedController）。DetailedOutliner负责创建详细的分层大纲，将写作想法从起草转移到计划。详细控制器通过控制故事段落与大纲细节的对齐来确保生成的结果遵循详细大纲。该研究手动评估了模型自动生成故事的能力，DOC在多个指标上取得了实质性的进步：情节连贯性（22.5%）、大纲相关性（28.2%）和趣味性（20.7%），大大优于Re^3模型。此外，DOC在交互式构建环境中更易于控制。推荐：田远东等原班人马的又一新作：AI生成长篇故事，千言万语也能连贯有趣。论文4：ScalableDiffusionModelswithTransformers作者：WilliamPeebles,XieSaining论文地址：https://arxiv.org/pdf/2212.09748.pdf摘要：这篇文章中，加州大学伯克利分校的WilliamPeebles和纽约大学的谢赛宁写道《 Scalable Diffusion Models with Transformers 》，目标是揭开扩散模型中架构选择的含义，并为未来生成模型的研究提供经验基线。这项研究表明，U-Net归纳偏置对扩散模型的性能并不重要，可以很容易地用标准设计（例如变压器）代替。本研究重点关注一类新的基于Transformer的扩散模型：DiffusionTransformers（简称DiTs）。DiTs遵循VisionTransformers(ViTs)的最佳实践，并进行了一些小而重要的调整。DiT已被证明比传统的卷积网络（如ResNet）更有效地扩展。具体来说，本文从网络复杂度和样本质量两个方面研究了Transformer的缩放行为。我们表明，通过在潜在扩散模型(LDM)框架下构建DiT设计空间并对其进行基准测试，U-Net主干可以成功地替换为转换器，其中扩散模型在VAE的潜在空间内进行训练。该论文进一步表明，DiT是扩散模型的可扩展架构：网络复杂性（由Gflops测量）和样本质量（由FID测量）之间存在很强的相关性。通过简单地扩展DiT并训练具有高容量主干(118.6Gflops)的LDM，在类条件256×256ImageNet生成基准上实现了2.27FID的最新结果。建议：管理扩散模型的U-Net将被替换。谢赛宁等。引入Transformer来提出DiT。论文5：Point-E:ASystemforGenerating3DPointCloudsfromComplexPrompts作者：AlexNichol,HeewooJun等论文地址：https://arxiv.org/abs/2212.08751摘要：OpenAI开源3D模型生成器Point-E在AI圈引发了新一轮的热潮。根据与开源内容一起发布的一篇论文，Point-E可以在单个NvidiaV100GPU上在一到两分钟内生成3D模型。相比之下，谷歌的DreamFusion等现有系统通常需要数小时和多个GPU。Point-E输出的不是传统意义上的3D图像，它生成的是点云，或者是空间中代表3D形状的一组离散数据点。Point-E中的E是“efficiency”的首字母缩写，意思是它比以前的3D对象生成方法更快。虽然从计算的角度来看点云更容易合成，但它们无法捕捉物体的细粒度形状或纹理——这是迄今为止Point-E的一个关键限制。为了解决这个问题，OpenAI团队训练了一个额外的AI系统来将Point-E的点云转换为网格。推荐：三维图文AI变成：单GPU不到一分钟出货，OpenAI出品。论文6：Reprogrammingtorecoveryouthfulepigeneticinformationandrestorevision作者：YuanchengLu,BenediktBrommer论文地址：https://www.nature.com/articles/s41586-020-2975-4摘要：2020年12月2日，论顶级科学期刊《Nature》的封面，出现了几个令人惊讶的字眼：“TurningBackTime”（时光倒流）。封面研究来自哈佛医学院终身教授DavidSinclair团队。文章虽然只有几页，却展示了利用基因疗法诱导神经节细胞重编程，恢复年轻的表观遗传信息，使视神经损伤后再生，逆转青光眼和视力下降的新前景。老化衰退。DavidSinclair说，该团队的研究目标一直是减缓和逆转人类衰老，并通过解决病因而不是症状来治疗疾病。基于这项2020年的研究，大卫·辛克莱(DavidSinclair)的团队正在使用一种名为“REVIVER”的年龄逆转技术在非人类灵长类动物身上进行测试，看看它是否安全，是否可以像老鼠一样治疗失明。最新的研究来自大卫辛克莱和他的60人团队。他说，老化就像光盘上的划痕可以擦掉，或者系统中的软件损坏。重装就可以反了，就像书上说的《Lifespan》一样。在一篇预印本论文中，作者表明所有生物体都会随着时间的推移而丢失遗传信息，从而逐渐丧失细胞功能。研究人员使用称为ICE（表观基因组的诱导变化）的转基因小鼠系统证明，修复非诱变DNA断裂的过程会加速与年龄相关的生理、认知和分子变化，包括表观遗传变化。表观遗传侵蚀、细胞容量丧失、细胞衰老等。研究人员称，通过异位表达进行的表观遗传重编程可恢复年轻基因表达的模式。建议：研究逆转衰老。论文7：TrainingRobotstoEvaluateRobots:Example-BasedInteractiveRewardFunctionsforPolicyLearning作者：KunHuang,EdwardHu,DineshJayaraman论文地址：https://openreview.net/pdf?id=sK2aWU7X9b8摘要：一般来说，物理交互可以帮助揭示不太明显的信息，例如我们可能会拉动桌腿以评估它是否稳定，或者将水瓶倒置以检查它是否泄漏。该研究表明，可以训练机器人自动获取这些信息。一种交互行为，用于评估机器人尝试执行该技能的结果。这些评估反过来用作IRF（交互式奖励函数），用于训练强化学习策略以执行目标技能，例如收紧桌腿。此外，即使在完全训练完成后，IRF也可以作为一种验证机制来提高在线任务的执行力。对于任何给定的任务，IRF训练都非常方便，不需要进一步规范。评估结果表明，IRF可以实现显着的性能改进，甚至可以通过访问演示或精心设计的奖励来超越基线。例如下图中，机器人必须先关上门，然后旋转对称的门把手，才能将门完全锁上。
