使用 Linux 查找重复文件
要领一：使用Find下令
本部分算是对find强盛功效的扩展使用要领说明。在find的基础上 ，我们可与（如xargs下令）等其它基本Linux下令相团结 ，即能创立出无限的下令行功效 ，好比：可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功效在流程上是较量简朴的 ，只要查找遍历出所有文件 ，再通过下令去较量每个文件的MD5就OK啦。
听起来似乎较量笼统 ，着实下令就一条：
find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate
登录后复制
find -not -empty -type f -printf “%sn” 体现使用find下令搜索出所有非空文件 ，再打印出他们的巨细
sort -rn 下令不必多说了把 ，这条下令就噬洗文件巨细举行反向排序
uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 体现只打印了重复的行 ，这里使用代表打印出文件名相同的文件
uniq -w32 –all-repeated=separate 最后这里体现对MD5的前32个字节举行比照 ，以筛选出重复文件 使用下令行的整个历程就是这么简朴和容易。
要领二：使用dupeGuru工具
DupeGuru是一个跨平台应用 ，有Linux、Windows和Mac OS X版本 ，它可以通过文件巨细、MD5和文件名等多种标准来资助用户找出Linux中的重复文件。Ubuntu用户可以直接通过添加如下PPA源来方法来举行装置：
sudo add-apt-repository ppa:hsoft/ppasudo apt-get updatesudo apt-get install dupeguru*
登录后复制
要领三：使用Find下令剖析
在事情生涯当中 ，我们很可能会遇到查找重复文件的问题。好比从某游戏提取的游戏文本有重复的 ，我们希望找出所有重复的文本 ，让翻译只翻译其中一份 ，而其他的直接替换。那么这个问题该怎么做呢？虽然要领多种多样 ，并且无论那种要领应该都不会太难 ，但笔者第一次遇到这个问题的时间第一反应是是用Linux的Shell剧本 ，以是文本先容这种方法。
先上代码：
find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36-
登录后复制
各人先cd到自己想要查找重复文件的文件夹 ，然后copy上面代码就可以了 ，系统会对目今文件夹及子文件夹内的所有文件举行查重。
下面剖析一下上面的下令。
首先看第一句：
find -not -empty -type f -printf "%sn"
登录后复制
find是查找下令；-not -empty是要寻找非空文件；-type f是指寻找通例文件；-printf “%sn”较量具有疑惑性 ，这里的%s并非C语言中的输出字符串 ，它现实体现的是文件的巨细 ，单位为bytes（不懂就man ，man一下find ，就可以看到了） ，n是换行符。以是这句话的意思是输出所有非空文件的巨细。
搜索民众号GitHub猿后台回复“UML” ，获取一份惊喜礼包。
通过管道 ，上面的效果被传到第二句：
sort -rn
登录后复制
sort是排序 ，-n是指按巨细排序 ，-r是指从大到小排序（逆序reverse）。
第三句：
uniq -d
登录后复制
uniq是把重复的只输出一次 ，而-d指只输出重复的部分（如9泛起了5次 ，那么就输出1个9 ，而2只泛起了1次 ，并非重复泛起的数字 ，故不输出）。
第四句：
xargs -I{} -n1 find -type f -size {}c -print0
登录后复制
这一部分分两部分看 ，第一部分是xargs -I{} -n1 ，xargs下令将之前的效果转化为参数 ，供后面的find挪用 ，其中-I{}是指把参数写成{} ，而-n1是指将之前的效果一个一个输入给下一个下令（-n8就是8个8个输入给下一句 ，不写-n就是把之前的效果一股脑的给下一句）。后半部分是find -type f -size {}c -print0 ，find指令我们前面见过 ，-size{}是指找出巨细为{}bytes的文件 ，而-print0则是为了避免文件名里带空格而写的参数。
第五句：
xargs -0 md5sum
登录后复制
xargs我们之前说过 ，是将前面的效果转化为输入 ，那么这个-0又是什么意思？man一下xargs ，我们看到-0体现读取参数的时间以null为脱离符读取 ，这也不难明确 ，事实null的二进制体现就是00。后面的md5sum是指盘算输入的md5值。
第六句：sort是排序 ，这个我们前面也见过。
第七句：
uniq -w32 --all-repeated=separate
登录后复制
uniq -w32是指寻找前32个字符相同的行 ，缘故原由在于md5值一定是32位的 ，此后面的–all-repeated=separate是指将重复的部分放在一类 ，分类输出。
第八句：
cut -b 36-
登录后复制
由于我们的效果带着md5值 ，不是很悦目 ，以是我们截取md5值后面的部分 ，cut是文本处理函数 ，这里-b 36-是指只要每行36个字符之后的部分。
我们将上述每个下令用管道链接起来 ，存入result.txt：
find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt
登录后复制
虽然效果很悦目 ，可是有一个问题 ，这是在Linux下很悦目 ，现实上若是有朋侪把输出文件放到Windows上 ，就会发明换行全没了 ，这是由于Linux下的换行是n ，而windows要求nr ，为相识决这个问题 ，我们最后执行一条指令 ，将n转换为nr：
cat result.txt | cut -c 36- | tr -s 'n'
登录后复制
以上就是使用 Linux 查找重复文件的详细内容 ，更多请关注本网内其它相关文章！
