Linux常用命令之文本处理.docx

Linux常用命令之文本处理Linux常用命令之文本处理Linux常用命令之文本处理uniq[选项]文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“-”表示，则从标准输入读取。该命令各选项含义如下：、–c显示输出中，在每行行首加上本行在文件中出现的.次数。它可取代-u和-d选项。–d只显示重复行。–u只显示文件中不重复的各行。–n前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开(字段从0开始编号)。+n前n个字符被忽略，之前的字符被跳过(字符从0开始编号)。–fn与-n相同，这里n是字段数。–sn与+n相同，这里n是字符数。接下来通过实践实例说明：代码如下:[root@stu100~]#cattestboytookbathomeboytookbathomegirltookbathomeboytookbathomeboytookbathomedogbroughthathomedogbroughthathomedogbroughthathome看test文件的内容代码如下:[root@stu100~]#uniqtestboytookbathomegirltookbathomeboytookbathomedogbroughthathomeuniq命令不加任何参数，仅显示连续重复的行一次代码如下:[root@stu100~]#uniq-ctest2boytookbathome1girltookbathome2boytookbathome3dogbroughthathome1-c参数显示文件中每行连续出现的次数。代码如下:[root@stu100~]#cattest|sort|uniq-c14boytookbathome3dogbroughthathome1girltookbathome排序后再显示代码如下:[root@stu100~]#uniq-dtestboytookbathomeboytookbathomedogbroughthathome-d选项仅显示文件中连续重复出现的行。代码如下:[root@stu100~]#uniq-utestgirltookbathome-u选项显示文件中没有连续出现的行。代码如下:[root@stu100~]#uniq-f2-s2testboytookbathome忽略每行的前2个字段，忽略第二个空白字符和第三个字段的首字符，结果athome代码如下:[root@stu100~]#uniq-f1testboytookbathomedogbroughthathome忽略每行的第一个字段，这样boy，girl开头的行看起来是连续重复的行。代码如下:[root@stu100~]#uniq-Dtestboytookbathomeboytookbathomeboytookbathomeboytookbathomedogbroughthathomedogbroughthathomedogbroughthathome显示所有重复的行，每个重复的行都显示当你有一个包含相同条目的雇员(employee)的文件，你可以以如下方式来删除相同的条目代码如下:$sortnamesd.txt|uniq$sort–unamesd.txt如果你想知道有多少行是相同的，可以像下面这个做。以下例子中的第一列显示该行的重复数量。在本例中，以Alex和Emma开头的行，在文件中有两个重复行。代码如下:$sortnamesd.txt|uniq–c2AlexJason:200:Sales2EmmaThomas:100:Marketing1MadisonRandy:300:ProductDevelopment1NishaSingh:500:Sales1SanjayGupta:400:Support3.以下命令仅仅列出了相同的条目代码如下:$sortnamesd.txt|uniq–cd2AlexJason:200:Sales2EmmaThomas:100:Marketing