尽管CUDF之类的包裹的出现大大加速了我们的数据处理,但并不是每个人都有更好的GPU。
许多朋友仍在使用熊猫工具包,但有时确实无助。熊猫中的许多问题需要使用应用功能来处理它,并且应用功能非常慢。本文我将介绍如何加速应用功能。600倍技术。
**实验比较
01申请(基线)**
我们以例子为例。原始应用功能处理以下问题需要18.4s。
02快速加速
由于处理是平行的,因此我们可以使用Swift加速。使用Swift之后,我的机器上可以将相同的操作增加到7.67。
03定向
使用大熊猫和Numpy的最快方法是勾引功能。如果我们的操作可以直接定向,那么我们可以避免使用它:
将上述问题转换为以下处理后,我们的时间缩短为421 ms。
04类别转换+定向
我们首先将上述类别转换为INT16,然后执行相同的矢量化操作,然后将时间缩短为:116 ms。
05转换为值处理
在您可以转换的地方。值值,然后运行。
这里的转换转换为numpy,因此我们的矢量化操作将更快。
结果,上述操作时间缩短为:74.9ms。
实验摘要
通过上面的一些小技术,我们将简单的应用功能加速了数百次,具体:
以上是该共享的所有内容。如果您想了解更多信息,请转到公共帐户:Python编程学习圈,每日干货共享
原始:https://juejin.cn/post/7097427425750958117