当前位置: 首页 > 科技观察

2018年数据科学与机器学习调查:Python打败R,Hadoop被抛弃!

时间:2023-03-15 01:21:47 科技观察

近日,数据科学网站KDnuggets发布了2018年数据科学和机器学习工具调查结果。让我们来看看调查结果最受青睐的分析、数据科学、机器学习工具图1:2018年最受青睐的工具及其在2016-2017年调查中的份额*为了更有效的比较,KDnuggets重新整理了结果统计了2016年和2017年的问卷,排除了受访者的“单身”选项。下表是排名前11的工具,每个工具至少有20%的份额:表1:KDnuggets2018顶级分析/数据科学/ML软件调查这里,“2018%份额”是指工具的使用受访者百分比,“%change2018VS2017”表示2017年调查的变化,绿色表示增加10%以上,红色表示减少10%以上。今年,每位受访者平均使用的工具数量为7,略高于2017年调查中的6.75(不包括单一工具回复)。与2017年的软件投票相比,今年的前11名中出现了新面孔,Keras取代了去年的Knime。以下是对上述数据的一些观察:Python杀死R到2017年,Python的份额已经超过50%,今天它的份额增加到66%,而在我们的调查中,R的份额***有下降,它突然下降到50%以下。RapidMiner激增RapidMiner在过去的几次调查中一直是顶级数据科学平台之一,其份额从2017年的33%大幅增加到50%左右。这个增速是不是厂家推动的?RapidMiner创始人兼总裁IngoMierswa表示:与许多供应商一样,RapidMiner通过各种渠道向用户推广KDnuggets问卷。之前我们也做过同样的推广,但不同的是,今年我们得到了更好的回应,超过400名用户亲自回复了邮件,更重要的是,RapidMiner的月活跃用户在过去一年里增长了300%,因此可以向更多用户发送有关KDnuggets调查的电子邮件。SQL是稳定的SQL(包括SparkSQL和SQLtoHadoop工具)在最近3次调查中仍然有大约40%的份额。所以,如果你是一个有抱负的数据科学家,学习SQL,它可能对你有用!趋势调查中使用率超过2%的新工具是SparkSQL,占11.7%。下表列出了其份额在2018年增长超过20%并在2018年至少达到3%的工具。表2:主要分析/数据科学/机器学习工具集成与使用增长***值得注意到在2017年份额超过2%的56种工具中,19种(仅约三分之一)工具在2018年增加了份额,而37种减少了份额。最近的收购,如Datawatch收购Angoss和Minitab收购Salford,可能表明数据科学平台的整合即将展开。下表显示了2018年份额超过3%但2018年下降超过25%的工具:表3:使用深度学习的受访者使用率下降最大的顶级分析/数据科学工具深度学习工具工具比例保持稳定,2018年有33%的受访者报告使用深度学习工具,2017年为32%,2016年为18%。谷歌Tensorflow仍然是最重要的平台。***深度学习工具排名如下:●Tensorflow,29.9%●Keras,22.2%●PyTorch,6.4%●Theano,4.9%●其他深度学习工具,4.9%●DeepLearning4J,3.4%●MicrosoftCognitiveToolkit(Prev.CNTK),3.0%●ApacheMXnet,1.5%●Caffe,1.5%●Caffe2,1.2%●TFLearn,1.1%●Torch,1.0%●Lasagne,0.3%大数据工具:Hadoop在2018年被放弃,约占开发的33%那些使用Hadoop或Spark等大数据工具的人——与2017年大致相同,但Hadoop的使用率大幅下降,下降幅度高达35%,详情如下:编程语言Python似乎不仅超越了R,但也包括大多数其他语言,目前Python和SQL、Java和C/C++几乎保持在同一水平。自KDnuggets进行调查以来,R首次下降。其他语言也有所下降。以下是最受欢迎的编程语言:●Python,65.6%(2017年为59.0%),上升11%●R,48.5%(为56.6%),下降14%●SQL,39.6%(2017年为59.0%)39.2%),Java上升1%,15.1%(原为15.5%),Unix下降3%,shell/awk/gawk,9.2%(原为10.8%),下降15%其他编程和数据语言,6.9%,(7.6%),-9%下降C/C++,6.8%,(原为7.1%),下降3%Scala,5.9%,(原为8.3%),下降29%Perl,1.0%(原为1.9%),46%Julia下降0.7%(原为1.2%),Lisp下降45%,Lisp下降0.3%(原为0.4%),Clojure下降-25%,下降0.2%(原为0.3%),F下降-38%,#0.1%(原为0.5%),-73%下降完整结果和3年趋势下表显示了调查结果的详细信息(此处仅列出了前20种工具):