当前位置: 首页 > 科技观察

AI学会在Nature“搞”科研,知乎网友:不忍直视水面

时间:2023-03-14 23:03:53 科技观察

AI可以在复杂的围棋对局中轻松击败人类,但它们能帮助我们做出科学发现吗?美国能源部劳伦斯伯克利国家实验室近日发表在期刊《自然》上的一篇论文引起了广泛关注。研究人员表示,人工智能在自动阅读材料科学领域的300万篇论文后发现了新的科学知识。在人们的普遍印象中,如果论文发表在Nature上,结论自然会相差无几。然而,对于熟悉人工智能的人来说,这项研究有点奇怪:论文中的模型使用的技术是“词嵌入”——既不是卷积神经网络,也不是递归神经网络等更复杂的模型。如此简单的模型真的能帮助我们找到数百名研究人员多年来从未发现的新材料吗?这篇文章发表后,引来了机器学习社区的大量反对,人们纷纷表示不忍直视这种“浇水”行为。先来看看论文是怎么说的:AI学会了“读论文”,而且研究还发表在了Nature上。该论文的作者是伯克利国家实验室储能与分布式资源部的科学家Anubhav。Jain领导的团队收集了330万篇已发表的材料科学论文的摘要,并将它们输入到一个名为word2vec的算法中。通过解释词与词之间的关系,该算法可以提前数年给出新热电材料的预测,并在目前未知的材料中找到具有潜在应用潜力的候选者。该论文名为《Unsupervised Word Embeddings Capture Latent Knowledge from Materials Science Literature》,于7月3日发表在Nature上。论文地址:https://www.nature.com/articles/s41586-019-1335-8该论文的第一作者VaheTshitoyan是一位伯克利国家实验室博士后研究员,现就职于谷歌。此外,伯克利国家实验室的科学家KristinPersson和GerbrandCeder也参与了这项研究。“这篇论文认为,科学文献的文本挖掘可以揭示隐藏的知识,简单的文本提取可以构建基础科学知识,”GerbrandCeder说。该论文的第一作者Tshitoyan表示,该项目的动机是难以完全理解许多已发表的研究。因此,他们考虑机器学习是否可以以无人监督的方式利用所有集体知识。国王-王后+男人=?该团队在1922年至2018年期间汇编了发表在1000多种期刊上的330万篇论文的摘要(是的,AI阅读论文只看摘要)。Word2vec从这些摘要中提取大约50万个不同的单词,并将每个单词转换为200维向量或200个数字的数组。“重要的不是数字,而是使用这些数字来观察单词之间的关系,”Jain说。例如,您可以使用标准矢量数学进行矢量减法。其他研究人员表明,如果你要在非科学文本源上训练算法并从“kingminusqueen”中提取向量,你可以获得类似于“manminuswoman”的结果。同样,在接受材料科学文本的训练时,该算法可以仅根据单词在摘要中的位置及其与其他单词的共现关系来学习科学术语和概念的含义。例如,正如算法可以求解“king-queen+man”方程一样,它可以计算出方程“ferromagnetic(铁磁)-NiFe(镍铁)+IrMn(铱锰)”的答案是“反铁磁”(反铁磁)。铁磁)。左:Word2vec的元素表示(投影到二维空间);右:门捷列夫的元素周期表。Source:BerkeleyLab如上图,当元素周期表中的化学元素被投影到二维空间时,Word2vec甚至可以学习到它们之间的关系。提前数年预测新材料那么,如果Word2vec如此智能,它能预测新的热电材料吗?良好的热电材料可以将热能高效地转化为电能,并且由安全、丰富且易于生产的原材料制成。该算法根据词向量与“热电”一词的相似性对每个化合物进行排名,研究人员选择了该算法最推荐的热电材料。然后他们进行计算以验证算法的预测。他们发现,在算法预测的前10名热电材料中,所有预测计算的功率因数都略高于已知热电元件(衡量电气设备效率的系数,值越高越好);对于已知的热电元件,前三种材料的功率因数高于95%。接下来,他们通过仅提供2000年前的摘要来测试该算法是否适用于“过去”的预测实验。结果再次出乎意料。该算法给出的很多排名靠前的预测结果出现在后来的研究中,这个数字是随机选择结果的四倍。例如,根据2008年之前的数据训练的5个预测中,有3个已被发现,而其余两个要么非常罕见,要么含有有毒物质。研究人员说:“这项研究表明,如果更早地应用该算法,一些材料可能会在几年前被发现。”随着研究的进展,研究人员正在发布算法预测的前50种热电材料。他们还将发布研究中使用的词嵌入,以帮助其他人发现更好的材料。此外,他们正在开发更强大、更智能的搜索引擎,以帮助研究人员以更高效的方式搜索摘要。当机器学习界嘲讽人工智能时,它真的能自动发现新材料吗?论文一经发表,便在社交网络上引发热议。到目前为止,该帖子已获得140,000次浏览。材料科学专业的学生首先表示惊讶:如果人工智能取代科研人员,我们都会失业吗?熟悉机器学习的人看完论文回过神来,纷纷开启“讽刺模式”。知乎上,“霍华德”,博士。来自新加坡国立大学、腾讯的算法工程师说:看完这篇论文,我久久不能平静。好久没看到这么烂的论文了!也有人建议其他领域的学者在使用机器学习方法进行自己的研究之前先打好基础。《处处挖坑江玉成》说:真心推荐文章的通讯作者和审稿人学习CS224n……这篇文章的思路挺不错的,但是实际实现起来太水了,不值得出版自然。机器学习界人士对论文进行了剖析:在论文中,作者使用t-SNE将词向量投影到二维空间中,发现同一家族的成员聚类在一起。“霍华德”表示,同族的元素在上下文中当然容易被提及,它们只是一种共现关系。另外,作者声称可以直接用词向量预测化合物,并说预测结果和理论计算的绝对误差很小,但是理论可以计算出一些东西,用a来真的有意义吗?用于拟合的神经网络?在这里,作者甚至不清楚神经网络适用的基本场景。形成能量的计算得到了可靠的量子力学理论的支持。对于这类可以精确建模的问题,用传统的物理学第一性原理理论来计算更好更可靠!最后,作者用余弦相似度计算出最接近热电的词,然后在位置326和345找到了两种材料Li2CuSb和Cu3Nb2O8,然后宣称他们的算法可以预测潜在的新型热电材料。在读者看来,这是一场“令人窒息”的手术。因为热电与两种材料的余弦相似度接近,根本原因是有人在文章中同时提到了热电、Li2CuSb、Cu3Nb2O8,这只是一种共现关系。所以结论来了:所谓可以预测潜在新型热电材料的AI算法是无稽之谈,材料研究人员的生存并没有受到威胁,因为这篇论文并没有提出任何可以让AI理解论文的算法。研究过资料的学者也在知乎上表示,为了赶上大数据、机器学习、深度学习的普及,很多领域的研究都在做相关工作。“嘶哑的嗓子”介绍了自己的经历:刚开始接触和学习AI相关技术时,他以为自己可以用这个工具做大事,但真正做了之后,他觉得“这不是一个“高维特征空间。统计工具,怎么被炸得这么神乎其神?”机器学习不能这么用,论文已经发表在《自然》和《科学》杂志上了,但是还是经不起人们的推敲,最近机器学习界就发生了这种事情吧?一次两次,之前研究“人工智能用于科学研究”,是“深度学习预测地震”。去年8月,《Nature》发表了一篇热门论文,题目是《Deep learning of aftershock patterns following large earthquakes》,该论文由数据合着来自哈佛和谷歌的科学家,该论文的第一作者隶属于哈佛大学地球与行星科学系。该论文展示了深度学习技术如何用于预测余震。研究人员指出,他们的神经网络能够胜过预测余震位置的传统方法。但很快,这种方法受到了深度学习从业者的质疑。一位名叫RajivShah的数据科学家表示,我们的建模方法存在一些根本性问题ed在论文中,因此实验结果的准确性也需要研究。数据科学家本着严谨的精神通过实验验证后联系了原作者和《Nature》,但没有得到正面回复。于是,半年后,RajivShah研究了论文作者公开的代码,然后在medium上发表了一篇文章,揭露论文的根本缺陷和《Nature》的不作为,随后在Reddit上引起广泛讨论讨论。除了批评自然,人们还对深度学习和人工智能技术的滥用表示担忧。随着机器学习成为一门热门学科,越来越多的其他领域的学者开始使用新的方法来解决问题,有的取得了成果,有的则因为实验和数据的错误方式导致结果不精确。更令人担忧的是,有时有缺陷的研究会得到人们的认可。这篇关于深度学习预测余震的论文发表在Nature上,也成为了新版TensorFlow2.0宣传文中提到的案例——但遭到了机器学习界从业者的诟病。怎么能说期刊的事是编出来的呢?不过,这一次,人工智能学者们真的没办法了。参考内容:https://techxplore.com/news/2019-07-machine-learning-algorithms-uncover-hidden-scientific.htmlhttps://www.nature.com/articles/s41586-019-1335-8https:///www.zhihu.com/question/333317064/answer/738462156