当前位置: 首页 > 科技观察

一键搜索arXiv上最相关的论文,多亏了ChatGPT,几天就可以搞定

时间:2023-03-12 06:58:42 科技观察

对于每天搜索论文的朋友来说,有一个很好用的搜索工具,不用太高兴,效率会适当提高。但实际结果是要么搜索工具不给力,要么我输入的关键词无效。反正我心里想找的论文和搜索结果不能说没有关系。这简直是??天壤之别。我们下面要介绍的网站可以帮助您解决论文搜索中遇到的问题。该网站名为arXivXplorer,专门用于arXiv上论文的语义搜索。据项目作者称,该网站的内部算法使用OpenAI最新的嵌入模型为用户进行搜索查询,以找到最相关的论文。arXivXplorer地址:https://arxivxplorer.com/项目作者说:OpenAI新的embeddingAPI给他留下了深刻的印象,所以他想看看embedding在实践中是如何使用的。所以他花了几天时间构建这个项目,到目前为止它运行良好。除此之外,他在ChatGPT中编写了80%的UI,用于存储矢量数据库的pinecone,以及用于嵌入查询和执行查找的googlecloud函数。如果您想了解更多关于嵌入式模型的信息,可以到网站上查看。嵌入模型:https://openai.com/blog/new-and-improved-embedding-model/使用arXivXplorer,你可以找到你需要的论文,即使你的描述很模糊,甚至只是输入“interestingML论文”这种没有信息内容的描述,引擎也可以帮你完成。如下图,输入几个关键字后,网站显示的查询结果。在此过程中,arXivXplorer似乎比Google或arXiv自己的搜索等传统搜索工具做得更好,您还会发现以前从未见过的有趣论文。您也可以通过粘贴arxivurl直接搜索类似论文。比如下图中输入的是论文《A Generalist Agent》的地址,搜索结果(红框)显示AGeneralistAgent的相似度为100%,其他搜索结果按得分顺序展开。另外,你也可以点击上图红框中的小三角,界面会变成下图,显示论文的参与者和摘要,下面有两个功能:“MoreLikeThis”将显示更多相似论文;“查看”将链接到arXiv上的论文主页。看到这个功能齐全的网站,网友们忍不住好奇,纷纷问道:“你们用的是OpenAI的嵌入式技术,但是这个技术是收费的,请问你们花了多少钱?”。该项目的作者说:“将所有论文嵌入CS类别(约500,000篇文章)将花费40美元。”一些网友对该技术发起了一系列的质疑,比如:“这个网站是不是嵌入了所有的arXiv题材?”project作者说:“他嵌入了所有论文的标题和摘要,最初是手动进行余弦相似度和排序,但是松果让它变得超级简单!”有网友建议:“这个工具的搜索功能很好!要是能按发布日期查看和排序就好了。”对此,项目作者表示,未来会不断优化,实现更完善的功能。