当前位置: 首页 > 科技观察

无注意力的预训练;GPT带来的In-ContextLearning

时间:2023-03-20 16:38:10 科技观察

论文1:ClimateNeRF:Physically-basedNeuralRenderingforExtremeClimateSynthesis作者:YuanLietal.论文地址:https://arxiv.org/pdf/2211.13226.pdf摘要:本文提出了一种将物理模拟与场景的NeRF模型融合以生成这些场景中物理的逼真电影的新方法。在具体效果上,该方法可以真实地模拟气候变化可能产生的影响——一场小洪水过后,游乐场会变成什么样子?洪水过后呢?暴风雪过后呢?推荐:雾霾、冬天、洪水一秒发生,新NeRF模型渲染出逼真的物理大片。论文2:没有注意的预训练作者:JunxiongWang等人。论文地址:https://arxiv.org/pdf/2212.10544.pdf摘要:本文提出了双向门控SSM(BiGS)模型,结合基于状态空间模型(SSM)的路由层和基于乘法门的模型架构可以在不使用注意力的情况下复制BERT预训练结果,并且可以扩展到4096个令牌的远程预训练而无需近似。建议:预训练不需要关注,扩展到4096个token问题不大,相当于BERT。论文3:一个模型来编辑它们:使用语义调制的自由格式文本驱动图像操作作者:YimingZhu等人。论文地址:https://arxiv.org/pdf/2210.07883.pdf摘要:最近使用文本引导图像编辑有了很大的进步和关注,特别是基于StableDiffusion或DALLE等去噪扩散模型。然而,基于GAN的文本图像编辑仍有一些问题需要解决。例如,在经典的StyleCILP中,必须为每个文本训练一个模型。这种单文本到单模型的方法在实际应用中很不方便。本文提出了FFCLIP,解决了这个问题。对于灵活多样的文本输入,FFCLIP只需要一个模型就可以对图片进行相应的编辑,无需为每个文本重新训练模型,在多个数据集上都取得了非常好的效果。不错的效果。本文已被NeurIPS2022录用。推荐:文本和图像编辑的新范式,多文本引导图像编辑的单一模型。论文4:SELF-INSTRUCT:将语言模型与自生成指令对齐作者:YizhongWang等。论文地址:https://arxiv.org/pdf/2212.10560v1.pdf摘要:华盛顿大学等机构近期联合发表论文,提出的新框架SELF-INSTRUCT提高了预训练语言的instruction-followingability模型通过指导模型自身的生成过程。SELF-INSTRUCT是一个半自动化过程,它使用来自模型本身的指令信号来指导预训练的LM。建议:无需人工标注,自生成指令框架,打破ChatGPT等LLM的成本瓶颈。论文5:通过神经网络Ansatz对真实固体进行从头计算作者:XiangLi等人。论文地址:https://www.nature.com/articles/s41467-022-35627-1摘要:机器学习可以处理海量数据,解决复杂场景下的科学问题,引领科学探索到达以往无法到达的新领域.例如,DeepMind使用人工智能软件AlphaFold对科学界已知的几乎所有蛋白质结构进行了高度准确的预测;ChristianLagemann提出的基于深度学习的粒子图像测速(PIV)方法改变了原来纯手工设置的参数,大大提高了模型的应用范围,对于汽车、航空航天、生物医学工程等领域的研究至关重要。近日,字节跳动AI实验室研究团队和北京大学物理学院陈骥课题组的工作,为研究凝聚态物理给出了新的思路。该工作提出了业界首个适用于固体体系的神经网络波函数,实现了固体的第一性原理计算,并将计算结果推向了热力学极限。它有力地证明了神经网络是研究固体物理的有效工具,也预示着深度学习技术将在凝聚态物理中发挥越来越重要的作用。相关研究成果于2022年12月22日发表于国际顶级期刊NatureCommunication。推荐:业界首个适用于固体系统的神经网络波函数,发表于Nature子刊。论文6:为什么GPT可以在上下文中学习?语言模型作为元优化器秘密执行梯度下降作者:DamaiDai等人。论文地址:https://arxiv.org/pdf/2212.10559v2.pdf摘要:In-ContextLearning(ICL)在大型预训练语言模型上取得了巨大成功,但其工作机制仍然是一个悬而未决的问题。在这篇论文中,来自北京大学、清华大学和微软的研究人员将ICL理解为一种隐式微调,并提供了ICL和显式微调在多个层面上表现相似的实证证据。推荐:GPT带来的In-ContextLearning为什么起作用?该模型秘密执行梯度下降。论文7:非经典脑功能的实验指标作者:ChristianMatthiasKerskens等论文地址:https://iopscience.iop.org/article/10.1088/2399-6528/ac94be摘要:几十年来,科学家们一直在探索计算和人脑的思维机制。但是人脑的构成太过复杂,包括数百亿个神经元,相当于上万亿个芯片,我们很难一探究竟。因对黑洞研究的贡献而获得诺贝尔物理学奖的罗杰彭罗斯大胆提出“量子意识”的思想,即人脑本身就是一个量子结构,或者说是一台量子计算机。但这一观点遭到质疑。根据都柏林三一大学最近的一项研究,量子计算是在我们的大脑中进行的,该研究表明纠缠由与意识相关的大脑功能介导。如果这些大脑功能必须以非经典方式工作,那么这意味着意识是非经典的,即大脑的认知过程涉及量子计算。建议:大脑的思维是量子计算,这个猜想有了新的证据。ArXivWeeklyRadiostation与ChuHang和LuoRuotian发起的ArXivWeeklyRadiostation一起,在本周7篇论文的基础上,精选出更多重要论文,包括NLP、CV、ML领域各10篇精选,并提供音频10NLP论文音频:00:0020:18本周精选的10篇NLP论文是:1.无监督文法归纳需要像素吗?。(来自SergeBelongie、KilianQ.Weinberger、JitendraMalik、TrevorDarrell)2。理解语言模型中的刻板印象:迈向稳健的测量和零样本去偏。(来自BernhardSch?lkopf)3。用图像解决歧义:改进的多模态机器翻译和对比评估。(来自CordeliaSchmid4,IvanLaptev)。用于视觉-语言关系对齐的跨模态注意一致性正则化。(来自RuslanSalakhutdinov,Louis-PhilippeMorency)5。原创还是翻译?关于使用并行数据进行翻译质量评估。(来自陶大成)6.通过错误分析对自然语言生成进行类似人类的评估。(来自陶大成)7.CurrentTask-orientedDialogueModels在野外自动化真实场景?。(来自KyunghyunCho)8。关于基于模型的文本生成评估指标的盲点。(来自KyunghyunCho)9.超越对比学习:多语言检索的变分生成模型。(来自WilliamW.Cohen)10。符号表示对小样本推理的上下文学习的影响。(fromLiErranLi,EricXing)10CVPapers音频:00:0023:15本周10篇CV精选论文是:1.重新审视剩余网络的对抗性鲁棒性:架构视角。(来自KalyanmoyDeb)2。文本到图像生成中的基准空间关系。(来自埃里克霍维茨)3。远距离人员识别的简要调查。(来自RamaChellappa)4。MetaCLUE:迈向全面的视觉隐喻研究。(来自LeonidasGuibas,WilliamT.Freeman)5。别名是对抗性攻击的驱动因素。(来自安东尼奥·托拉尔巴)6。可逆柱网络。(来自张翔宇)7.嗨-LASSIE:高-来自稀疏图像集成的保真铰接形状和骨架发现。(来自杨明轩)8.用于半监督3D对象检测的学习对象级点增强器。(来自杨明轩)9.在像素级别释放视觉提示的力量。(来自AlanYuille)10。从图像到文本提示:使用冻结大型语言模型的零样本VQA。(来自陶大成、StevenC.H.Hoi)