Re: xargs für url-listen?
On Thu, May 25, 2006 at 05:17:44PM +0200, Michelle Konzack wrote:
> fgrep --invert-match "$LISTE" $DATEI
Du meinst vermutlich
fgrep --invert-match -f "$LISTE" $DATEI
> Die Frage ist nun, wie würdet ihr das am besten lösen?
Bei der Dimension mit einem ordentlichen Programm anstatt mit einem
Shell-Script. Den Inhalt von Liste wuerde ich in einen B-Tree stecken
(siehe z.B. man DB_File) und dann die URLs aus $DATEI der Reihe nach lesen
und sehen, ob sie in der DB sind. Oder umgekehrt. Das geht recht flott.
Bei 5M Links und 1000 Stueck pro xargs erzeugst Du so nebenbei 5000
Shell-Prozesse. Ich haette da ein schlechtes Gewissen wegen solcher
Verschwendung von Ressourcen ;-)
> Rechenleistung, Speicher und Internetanbindung sind kein Problem.
Das sollte es auch nicht, wenn Du 5M Links ueberwachen und/oder runterladen
willst ;-)
--jc
--
Ignorance more frequently begets confidence than does knowledge.
-- Charles Darwin
Reply to: