xargs für url-listen?
Hallo *,
Ich habe ein problem, bei dem perl und fgrep versagen (zu viele
argumente), genaugenommen wollte ich eigentlich
fgrep --invert-match "$LISTE" $DATEI
machen, was ja auch anständig funktioniert, solange die liste nicht
mehr als 1500 locale pfade hat die gegen die Datei in der URLS
gespeichert wurden gecheckt wird
Die $DATEI mit rund 5 millionen URLS is kein Problem...
...nur die $LISTE welche mittlerweile genauso groß geworden ist.
Die Frage ist nun, wie würdet ihr das am besten lösen?
Dachte, das es eine Möglichkeit gibt, das ganze mit xargs zu splitten,
sprich immer 1000 locale Pfade an 'fgrep' zu verfüttern oder besser
mit 'sed' und immer Stück für Stück 1000 Zeilen ausschneiden und
verfüttern?
$DATEI ist übrigends eine Liste von URLS die ich überwachen, bzw.,
runterladen will und $LISTE mein localer Cache.
Rechenleistung, Speicher und Internetanbindung sind kein Problem.
Greetings
Michelle Konzack
--
Linux-User #280138 with the Linux Counter, http://counter.li.org/
##################### Debian GNU/Linux Consultant #####################
Michelle Konzack Apt. 917 ICQ #328449886
50, rue de Soultz MSM LinuxMichi
0033/6/61925193 67100 Strasbourg/France IRC #Debian (irc.icq.com)
Reply to: