去除文件中重復(fù)數(shù)據(jù)的方法：

先使用sort指令將文件中的數(shù)據(jù)按照要求的索引進行排序，然后使用uniq指令將重復(fù)數(shù)據(jù)去掉得到想要的結(jié)果。

如文件a.txt中有重復(fù)行，需要去除重復(fù)行時執(zhí)行如下指令：;

#sort a.txt > b.txt;

#uniq b.txt > c.txt

c.txt文件就是所需數(shù)據(jù)了.