Re: [HS] recherche script batch pour doublons !

[Marc Chantreux <mc@unistra.fr>]

salut,

j'ai nettoyé un répertoire de photos en utilisant ça:

    that_duplicates () {
        local ZERO="\x00"
        xargs -0 sha1sum     |
        sed -r "s/ +/$ZERO/" |
        awk -F$ZERO -vORS=$ZERO '!sum[$1]++ {print $2}'
    }

c'est à utiliser avec un find devant et un xargs -0 rm derrière.

vu les volumes, la stratégie va compter: si tu as beaucoup de gros fichiers,
il serait peut-être intéressant de faire le sum seulement sur les
premiers ce qui permetterait un premier dédoublonage à l'arache.

cordialement,
marc