[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: parcours de millions de fichiers



Bonsoir,
Pourquoi ne pas utiliser la base de donnée de la commande locate ?
du genre: locate "*" | xargs stat -c "%n %U %G"
pour un peu plus de 56000 entrées le traitement a duré 4 secondes (processeur Atom 1,8ghz, 4go de mémoire)
la base doit au préalable être à jour

Le 8 octobre 2014 19:03, admini <admini@freeatome.com> a écrit :
salut la liste

je dois parcourir, de façon resursive, pas mal de millions (25M) de fichiers pour trouver tous les owners de tous les fichiers.

j'ai d'abord fait une expérience sur seulement 7Millions, avec

find .  -type d > listdir

ca a pris 30minutes

puis

while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner

ca a pris 78 minutes.

bon, à la prod, personne n'a rien dit. vous etes les premires à en être au courant.


y a t-il un autre moyen plus économique vis à vis du stockage et du système ( CPU mémoire) de faire de telles choses, je vais le tester demain sur un lot de 7 Millions de fichiers.

d'avance merci de vos réponses.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers debian-user-french-REQUEST@lists.debian.org
En cas de soucis, contactez EN ANGLAIS listmaster@lists.debian.org
Archive: [🔎] 54356E65.40708@freeatome.com" target="_blank">https://lists.debian.org/[🔎] 54356E65.40708@freeatome.com




--
< Belaid >

Reply to: