Python迷惑知识系列：Pandas字符串处理方法与字符串内置函数。使用Python的优点之一是字符串处理更容易。Python初学者在学习字符串的内置函数时，经常会感到困惑：字符串的内置函数处理的是单个字符串对象，如果要处理上千个字符串对象怎么办？很多长期接触Python的同学，即使已经学会了使用Pandas对象的.apply()方法来处理字符串，仍然常常忘记：其实Pandas已经自带了强大的向量化字符串操作。即使知道Pandas字符串方法的同学在使用的时候也经常会和字符串内置函数混淆。熟练使用Pandas字符串方式的同学，往往会觉得该方式的代码简洁度和运行效率比其他写法要高很多。真相是什么？Pandas字符串方法与字符串内置方法有何不同？计算效率真的像传闻中那么高吗？今天我们就好好看看Python这个容易混淆的知识点。1.快速入门向量化字符串操作初学Python字符串内置函数的同学一定知道有一个方法叫做.lower()可以将字符串中的大写英文字母转为小写，比如字符串对象'ABCD'转换为小写：点击添加图片描述（最多60个字符）编辑字符型Series对象中的字符串需要转换为小写怎么办？例如：点击添加图片描述（最多60个字符）进行编辑此时，我们可以在Series的str方法中使用.lower()来处理：点击添加图片描述（最多60个字符）到编辑同上，如果想把Series对象中的所有大写字母都变成小写，可以使用.str.upper()。看到这里，相信很多没有用过Pandas字符串方法的同学都会惊讶的发现，这和字符串对象的内置函数差不多吧？只是多了一个通过.str()方法调用函数的过程。确实，Pandas的大部分字符串方法都借鉴了Python内置字符串函数的内容。下面是对处理字符串的两种方法的简要概述：查找字符串的长度§.str.len()·字符检索§.str.find()和.str.rfind()§.str.index()和.str.rindex()字符转换§.str.lower()和.str.upper()§.str.title()和.str.capitalize()§.str.swapcase()字符类型判断§.str.islower()和.str.isupper()§.str.isnumeric()、.str.isalnum()、.str.isdecimal()、.str.isalpha()、.str.isdigit()§.str.isspace()§.str.istitle()字符对齐和填充§.str.startswith()和.str.endswith()§.str.center()§.str.ljust()和.str.rjust()字符分隔§.str.split()和.str.rsplit()§.str.partition()和.str.rpartition()字符排列§.str.strip(),.str.rstrip(),.str.lstrip()以上方法基本上是Pandas字符串方法和Python字符串内置函数相同的部分，无论是方法名还是调用过程，只有少数部分有一点点区别。2.其他字符串方法除了类似于字符串内置函数的方法外，Pandas还有一些强大的字符串方法。(1)向量化字符串的取值和切片操作很多同学会很困惑。字符串对象可以进行值和切片操作，但是如何对Pandas对象中的字符串进行相同的操作呢？例如，以上面的Series对象为例：点击添加图片描述（最多60个字符）str属性并返回对象直接使用和字符串切片一样的方法：点击添加图片描述（最多60个字符）slice方法：点击添加图片描述（最多60个字符）)Edit但是如果你想根据字符串索引获取单个字符元素，你可以通过.str.get()方法来实现。比如上面的Series对象a，如果我们想获取字符串索引值为1的所有元素，我们可以这样写a.str.get(1)：点击添加图片描述（最多60个字符）edit(2)string在Python中拼接多个string对象非常简单，直接使用加法运算符即可，例如：点击添加图片描述（最多60个字符）编辑这个方便的方法，也用到了Series对象，可以添加多个一个字符的Series对象直接用加法运算符添加：点击添加图片描述（最多60个字符））方法。要实现上面同样的字符串拼接，如果我们使用.str.cat()方法，我们可以这样写：点击添加图片描述（最多60个字符）编辑也就是说，第一个Series对象调用。str.cat()方法，该方法的第一个参数可以用来将其他需要合并的Series对象以列表的形式写入。当然，.str.cat()方法功能强大。例如，您可以选择使用参数sep自定义合并分隔符。我们使用“|”连接以上三个Series对象：点击添加图片描述（最多60个字符）编辑（3）字符替换操作字符串内置函数有一个方便的字符替换方法.replace()，比如我们要替换'a'inthestring'abcd'with'A':点击添加图片描述（最多60个字符）编辑当然，如果要指定按索引值或切片替换怎么办？比如我们要用符号'*'替换str_01中所有字符串中索引值为0到2的元素，就需要使用.str.slice_replace()，替换对象由参数指定repl:点击添加图片描述（最多60个字符）Edit(4)Fastone-hotencodingOne-hot编码在特征工程和问卷数据处理中都有广泛的应用。我们需要转码的字符如下图所示。我们应该做什么？单击可添加图片说明（最多60个字符）。小编想看看这个。熟练使用Pandas的apply()方法的同学就会开始绞尽脑汁编写自定义函数来完成如此复杂的编码规则。其实我们可以直接使用Pandas的字符串方法.str.get_dummies()来完成one-hot编码，如下：Noneexist，怎么办？单击可添加图片说明（最多60个字符）。编辑此时我们可以使用.str.join()方法插入“|”上面Series对象中每个字符串对象的每个元素之间：点击添加图片描述（最多60个字符）编辑上面生成的对象最后再次调用.str.get_dummies()方法：点击添加图片描述（最多60个字符）60个字符）编辑3.代码量和计算效率PK从上面我们可以看出，Pandas的string方法实现了很多意想不到的操作，大大简化了代码编写的复杂度。下面我们来对比一下在文本数据量较大的情况下使用Pandas字符串方式和使用string内置函数的代码量和代码运行效率。下面以一些最常用的场景为例，分别是字符切片、替换、拼接、去除前后的特殊字符。下面使用的内存分析魔术函数，需要先在pip中安装扩展memory_profiler：pipinstallmemory_profiler然后需要在notebook中导入这个扩展：%load_extmemory_profiler(1)字符串切片方式比较我们先创建一个1000万个CharacterSeries对象的长度：点击添加图片描述（最多60个字符）to60characters)toedittheabove我们会发现，第一种方法使用的是listcomprehensionwithstringslicingmethod，与使用Pandasstrings的第二种方法相比，占用内存更多，运行时间略慢。同时，Pandasstring方法的代码更加简洁。(5)字符串替换方式的比较同理，根据以上方法，我们来比较两种字符串方式在字符串替换中的运行效率：点击添加图片描述（最多60个字符）编辑上图查看,在代码简洁性、可读性和计算效率上，Pandas的字符串方法要好得多。(6)字符串拼接方式比较多个字符Series对象拼接在一起，同时使用分隔符“|”拼接，我们来比较一下两种写法：点击添加图片描述（最多60个字符）进行编辑，就可以看到拼接了方法方面，虽然代码简单，可扩展性强，但是Pandas的字符串方法还是差了很多较好，但其计算效率远低于第一种方法。这主要是因为第一种方法使用了广播机制，加快了计算效率。(7)去除前后特殊字符去除字符串前后的特殊字符，如空格，是字符串处理的常用操作。让我们看看使用Pandas的.str.strip()方法是否在所有方面都更好。先创建一个例子：点击添加图片描述（最多60个字符）编辑方法一我们还是使用列表理解和字符串内置函数：点击添加图片描述（最多60个字符）编辑方法二：点击添加图片描述（最多60字）编辑第二种方法我们会看到，虽然计算时间比第一种方法略高，但是代码的简洁性和可读性比第一种方法要好很多，而且运行内存消耗也很大降低。4.小结从上面的众多例子中我们会发现，无论是代码可读性还是运行效率，Pandas字符串方法在实现各种字符串处理场景方面基本上都比其他方法要好很多。在实现特定的字符串处理场景时，比如one-hotencoding，Pandas独有的字符串方法更加方便。作为实用主义者，我们在处理文本数据时可以优先使用Pandas的字符串方法。当您遇到特别棘手的处理需求时，您可以通过将字符串内置函数与Pandas的apply()相结合，构建一个强大的字符串处理程序来清理您自己的数据。
