Hallo, Michelle Konzack wrote: > Moin Leute, > > Ich habe einen FileServer auf dem derzeit 130 millionen Dateien von > wenigen Bytes bis zu hunderten von MBytes gespeichert sind. > > Alle Dateien haben md5 hashes und bei der eintragung in meine > PostgreSQL sind Fehler aufgetaucht... (die md5 hashes sind die > primary keys) > > Ich habe weit über 2000 collisionen! > Was somit über 2000 zuviel sind. Bist du dir ganz sicher, dass die Fehler wirklich die kollidierenden md5-hashes sind? Das fällt mir schwer zu glauben. Teste das doch mal bei einer Kollision "per hand" mit md5sum auf beiden Dateien. > Gut, nachdem diverse Filesharing Firmen (Napster?, Kaaza?) miliarden > von Dateien handhaben müssen, - und es bereits 64 Byte md5sums gibt, > würde es mich interessieren wo ich dieses Tool herbekommen kann. Nimm doch einfach einen andern md-Algorithmus, der unter Linux frei verfügbar ist. gpg kann z.B. mit --print-mds sha512 ein halbes kilobit Hashsumme erstellen, das sollte mehr als genug sein ;-) Grüße, Moritz -- Moritz Lenz http://moritz.faui2k3.org/
Attachment:
signature.asc
Description: OpenPGP digital signature