Re: parcours de millions de fichiers

[admini <admini@freeatome.com>]

Le 08/10/2014 20:22, Guy Roussin a écrit :
> A tester en une passe :
> find .  -printf "%p %u %g\n" > listowner

je fais ça sur de petite quantité de fichiers: 1 à demi million.
mais au delà, ça devient un peu chaud. avec stat, je me suis dit que ça 
devrait traverser que les tables d'inodes, et donc, moins stresser le 
disque ... surtout lorsque ceux sont en raid5 et raid10 sur une baie de 
stockage ... on évite ce genre de traverse un peu violent. pour info, 
j'ai lancé la commande entre midi et 2. les 25 millions seront parcourus 
donc en plusieurs lots durant une semaine ....

> Guy
>
> Le 08/10/2014 19:03, admini a écrit :
> > salut la liste
> >
> > je dois parcourir, de façon resursive, pas mal de millions (25M) de
> > fichiers pour trouver tous les owners de tous les fichiers.
> >
> > j'ai d'abord fait une expérience sur seulement 7Millions, avec
> >
> > find .  -type d > listdir
> >
> > ca a pris 30minutes
> >
> > puis
> >
> > while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
> >
> > ca a pris 78 minutes.
> >
> > bon, à la prod, personne n'a rien dit. vous etes les premires à en
> > être au courant.
> >
> >
> > y a t-il un autre moyen plus économique vis à vis du stockage et du
> > système ( CPU mémoire) de faire de telles choses, je vais le tester
> > demain sur un lot de 7 Millions de fichiers.
> >
> > d'avance merci de vos réponses.