需要对日志文件中的数据进行排序,但重复行太多。如何从GNU/Linux下的文本文件中删除所有重复行?您需要使用shell管道以及以下两个Linux命令行实用程序来排序和删除重复的文本行:1.sort命令-在Linux和类Unix系统中对文本文件行进行排序。2.uniq命令-在Linux或Unix上运行或省略重复行使用Sort、Uniq和Shell管道删除重复行使用以下语法:sort{file-name}|uniq-usortfile.log|uniq-uUseuniqtoremoveduplicates以下是使用cat命令显示的名为garbage.txt的示例测试文件:linuxidc@linuxidc:~/www.linuxidc.com$catlinuxidc.com.txt示例输出:LinuxCommune(www.linuxidc.com)于2006年注册并2010年9月25日开通网站,Linux现已成为受到广泛关注和支持的操作系统。IDC是互联网数据中心,LinuxIDC是关于Linux的数据中心。实时发布***Linux资讯Linux公社是专业的Linux系统门户网站,实时发布***Linux资讯,包括Linux、Ubuntu、Fedora、RedHatLinux教程、Linux认证、SUSELinux、Android、Oracle、Hadoop等技术。LIVERELEASE***Linux信息LIVERELEASE***Linux信息在Linux上从文本文件中删除重复行键入以下命令以删除所有重复行:linuxidc@linuxidc:~/www.linuxidc.com$sortlinuxidc.com。txt|uniq-u示例输出:IDC是互联网数据中心,LinuxIDC是关于Linux数据中心。Linux公社(www.linuxidc.com)于2006年9月25日注册开通,Linux公社是专业的Linux教程、Linux认证、SUSELinux、Android、Oracle、Hadoop等技术的Linux系统门户网站。Linux现在已经成为一个被广泛关注和支持的操作系统。***Linux资讯实时发布,包括Linux、Ubuntu、Fedora、RedHat。.在Linux上对文件内容进行排序假设您有一个名为users.txt的文件:catlinuxidc.txtLinuxIdc22/11/72ZhangSan12/01/69LiAi30/12/88ABao15/08/76ChenXiao05/06/77ShenLin13/02/75DaCen21/10/73ZhangSan12/01/69让我们排序,运行:sortlinuxidc.txt接下来按姓氏排序,运行:sort-rlinuxidc.txt想要倒序排序?尝试:sort+2linuxidc.txt您可以在对文件进行排序时消除文件中的任何重复条目,运行:sort+2-ulinuxidc.txtsort-ulinuxidc.txt不带任何选项,sort比较文件中的整行并对它们进行排序在ASCII顺序输出中。您可以使用选项控制输出。如何在Linux上使用uniq命令删除重复行使用以下文件:linuxidc@linuxidc:~/www.linuxidc.com$cat-nlinuxidc.txt示例输出:1www.linuxidc.com2Linuxcommune3linuxidc4linuxidc.com5------------655667788997556677889985566778899uniq命令从文件中删除第8行并将结果放入名为linuxidc.com.txt的文件中:uniqlinuxidc.txtlinuxidc.com.txt验证它:cat-nlinuxidc.com.txt如何使用uniq命令删除重复行如何删除.txt文件中的重复行并将结果保存到新文件尝试以下任何语法:用于对文本文件的行进行排序对于排序,uniq过滤从文本文件中复制相邻的行。这些命令有很多有用的选项。我建议您通过键入以下man命令来阅读手册页:mansortmanuniq
