当前位置: 首页 > 网络应用技术

熊猫中的应用功能加速了100倍的技能

时间:2023-03-06 20:14:45 网络应用技术

  尽管CUDF之类的包裹的出现大大加速了我们的数据处理,但并不是每个人都有更好的GPU。

  许多朋友仍在使用熊猫工具包,但有时确实无助。熊猫中的许多问题需要使用应用功能来处理它,并且应用功能非常慢。本文我将介绍如何加速应用功能。600倍技术。

  **实验比较

  01申请(基线)**

  我们以例子为例。原始应用功能处理以下问题需要18.4s。

  02快速加速

  由于处理是平行的,因此我们可以使用Swift加速。使用Swift之后,我的机器上可以将相同的操作增加到7.67。

  03定向

  使用大熊猫和Numpy的最快方法是勾引功能。如果我们的操作可以直接定向,那么我们可以避免使用它:

  将上述问题转换为以下处理后,我们的时间缩短为421 ms。

  04类别转换+定向

  我们首先将上述类别转换为INT16,然后执行相同的矢量化操作,然后将时间缩短为:116 ms。

  05转换为值处理

  在您可以转换的地方。值值,然后运行。

  这里的转换转换为numpy,因此我们的矢量化操作将更快。

  结果,上述操作时间缩短为:74.9ms。

  实验摘要

  通过上面的一些小技术,我们将简单的应用功能加速了数百次,具体:

  以上是该共享的所有内容。如果您想了解更多信息,请转到公共帐户:Python编程学习圈,每日干货共享

  原始:https://juejin.cn/post/7097427425750958117