Doppelte Dateien per CRC-Check finden - Wie??

[SkAvEnGeR]

Hallo Leute,

ich hab mal wieder ein kleines Problemchen.

Ich habwe hier mehrere Rechner auf denen sich verschiedene Verzeichnis-Strukturen befinden.
Nun möchte ich zwecks Aufräummassnahmen per CRC-Check herausfinden, welche Dateien sich doppelt auf jedem Rechner befinden.

Also nochmal im Detail:

6 versch. PCs
alle mit versch. Verz.-Strukturen
es existieren einige Dateien doppelt
es kann sein, das einige Dateien gleich heissen, aber versch. Inhalt haben.
es muss also per CRC-Check nach doppelten Dateien gesucht werden
das Ergebnis der Suche möchte ich dann als Textdatei ausgegeben bekommen

Wie kann ich das am einfachsten bewerkstelligen??

Ich sag mal schon im Voraus Danke.
Hoffentlich könnt ihr mir weiterhelfen.

Viele Grüsse

[Reyno]

Hi SkAvEnGeR,

suche mal nach "CloneSpy". Ist Freeware. Erhältlich z.B. über HEISE.DE bei "Shareware".

Bye bye

Reyno

[sPUNK]

Hi!

Schau mal hier:

http://www.cc-community.net/board/viewtopic.php?t=49171
http://www.cc-community.net/board/viewtopic.php?t=45295

Vielleicht sind da auch noch nützliche Informationen für Dich drin ...

MfG
sPUNK

[SkAvEnGeR]

Vielen Dank für Eure Beiträge.

Die Programme sind an sich ja auch nicht schlecht.

Besonders gefallen hat mir CloneSpy.
Der macht ja eigentlich genau das, was ich will, aber eben nicht ganz.

Ich möchte

1. mit einem Programm auf jedem einzelnen PC per Netzwerk nach doppelten Dateien suchen
2. diese Dateien nicht nur nach Name und Grösse vergleichen, sondern auch nach Inhalt
3. eine Liste im Textformat ausgeben, in der die doppelten Daten stehen, incl. kompletter Verz-Struktur
4. diese Liste dem PC-User geben, damit er die doppelten Dateien per Hand löschen kann

Vielleicht gibt es da ja doch was.

Ich freue mich schon auf eure Vorschläge.

Gruss

[EchtAtze]

Ich könnte dir so etwas bauen...
Das wäre z.B. mit VB möglich.
Das Ergebnis wäre eine Access-Tabelle in der von ALLEN Dateien der Name, Laufwerk und Pfad, Größe und Checksum stehen.
Dann kannste mit einer simplen Abfrage die doppelten herausfiltern und das Ergebnis exportieren oder ausdrucken.

Wäre das was?

[SkAvEnGeR]

@EchtAtze

Boah, na das wäre ja genial.

Geht das denn so einfach??

Falls du das machen würdest, wär ich echt dankbar.

Ich würde mich auch erkenntlicht zeigen.

Kannst dich ja mal melden, wenn du lust dazu hast.

Bis dahin .... Gruss

[EchtAtze]

Hi SkAvEnGeR,

ja klar, das mach' ich, ich fange heute Abend mal an...
Nur ist meine Zeit momentan beruflich begrenzt, ich kann also nur abends dran arbeiten.

Haste nen paar Tage Zeit?
Dann wird das was...

Gruß,
Atze

[camel]

@Atze
hätte auch interesse. Könnte richtig hilfreich sein.

Gruss camel

[EchtAtze]

Na dann lohnt sich das ja...


Atze

[EchtAtze]

So, ich habe eine erste Version fertig.
Ist zwar noch ohne Access-Unterstützung, aber dafür macht es einen ASCII-Export.
Das File kann man dann z.B. in Access importieren und nach doppelten Dateien suchen.

Schreibt mal ne Mail dann könnt ihr's testen:
xxx

Gruß,
Atze

Edit:
Das zeitraubendste war es das Hashen der Dateien zu beschleunigen.
Auf meiner Büchse zieht er 620MB in knapp 20Sekunden durch, schneller geht nicht...

[EchtAtze]

Mail ist raus an FANA.
Edit:
Wolf Larsen hat auch Post.

Gruß,
Atze

[Wolf Larsen]

Guten Abend!

Sieht doch gut aus. Wenn ich unter W2k z.B. in das 4. Verz. vom Laufwerk aus wechsle, kommt ne Meldung "Verzeichnis nicht gefunden". Ich glaube beim dritten fängt es an. Ich würde Dein Tool gerne zum Schriften sortieren testen. Sind wohl an die 50000 Dateien, sehr viele doppelt bis vierfach. Die herkömmlichen Tools kacken meist ab - nach dem Duplettensuchen und WiederChecken sind immer noch Dupletten da. Ich habe das Gefühl, dass es nicht funktioniert.
Mal sehen, wie das Deinige wird!

Ahoi!
Wolf

[EchtAtze]

Hi Wolf,
ist korrigiert.
Mail ist an Fana und Wolf Larsen raus.

Gruß,
Atze

[SkAvEnGeR]

Hi EchtAtze,

nun hab ich auch mal wieder Zeit gefunden, hier in den Thread zu sehen.

Und ich bin sowohl erfreut alös auch überrascht, wie sich das hier entwickelt.
Ich würde dein Tool auch gerne mal testen.

Daher hab ich dir ne kurze mail geschickt.

CU

[SkAvEnGeR]

Hi Leutz,

das Tool gefällt mir schon mal sehr gut und ich konnte bisher keine Fehler feststellen.

Es ist aber sicher noch ausbaufähig.

Ich würde es zum Bsp. besser finden, wenn die ASCII-Datei in der ersten Spalte NUR den Pfad, ohne Dateinamen enthält. Denn der Dateiname steht dann ja in der nächsten Spalte.
Ist aber nur ein kleiner Tip/Wunsch.

:yo Super Arbeit - Weiter so! :yo

Gruss

[EchtAtze]

Das ist kein Problem Skavenger. Ich habe es extra doppelt reingenommen, aber das kann ich leicht ändern.

Wie sieht's mit den anderen aus?
Klappt alles?
Verbesserungen/Änderungen/Erweiterungen?
Oberfläche?
Wünsche?

Was ich noch im Hinterkopf habe:
- Evtl. per Kommandozeile steuerbar machen.
- Oberfläche schöner gestalten.
- Ergebnisse anzeigen lassen.
- Andere Exportformate.
- Auswertungen, suche nach doppelten...

Wie siehts aus?

Gruß,
Atze

[SkAvEnGeR]

Hi Leutz,

Ja also ich könnte mir noch folgendes vorstellen:

Momentan erstellt das Tool ja "nur" MD5-Hashes.

-Wie wärs denn, wenn man das Ergebnis per Option auf dem Bildschirm ausgeben könnte.
-Ergebnis druckbar machen
-In dieser Liste vielleicht gleich ein paar nette Filterfunktionen einbauen (nach Grösse, Datum, Hash, nur doppelte usw.)
-auch versteckte und Systemdateien miteinbeziehen
-Dateien ab einer best. Grösse von der Suche und dem Hashing ausschliessen
-Nur Dateien mit einer Bestimmten Endung in die Suche einbeziehen (dabei mehrfachuswahl möglich machen, wie *.txt;*.doc;*.dot oder so)
-ListenExport in andere Dateiformate erlauben
-Suche im Netzwerk ermöglichen (ohne gemappte LWs)
-Unter Optionen ggf. einen standard speichern/export-Ordner einstellen können
-evtl. Soundeffekte (eher unwichtig)
-alle optionen in einer kleinen INI-Datei speichern
-Kommandozeile find ich auch gut, würde ich aber erstmal hinten an stellen

Ich finde die GUI schon gut so, wie sie ist. Es ist meiner Meinung nicht notwendig, die Oberfläche extra schön zu machen. Es ist ja ein Tool und soll ja auch eines bleiben.
Wenn du ein paar zusätzliche Optionen mit einbaust, ist das schon eine geniale Sache.

Auf jeden Fall ist es jetzt schon eine gute Arbeit. Mach weiter so! Mal sehen, was wir hier im CCB wieder so gemeinsam auf die Beine bekommen.

Gruss

[EchtAtze]

Hi Skavenger,

da sind einige interessante Vorschläge enthalten.
Ich werde wohl einige davon aufgreifen.

Nur leider ist die Resonanz wohl eher mäßig.
Im anderen Thread haben wir ja schon einen Tip bekommen dass es so etwas schon gibt. Der Funktionsumfang ist sicherlich geringer, erst recht wird er es sein, wenn ich das Tool weiter ausbaue, aber außer dir scheint kaum jemand so etwas zu benötigen...
Ich werde mal die Resonanz auf einem anderen Board testen.
(Ich selber benötige das eigentlich auch nicht, zumindest bisher ).

Was denkst du darüber?

Gruß,
Atze

[Grainger]

@EchtAtze

Dein Tool hört sich interessant an (hat es schon einen Namen ? ).
Bisher habe ich zwar auch CloneSpy benutzt, aber ich bin für Alternativen immer offen.

Kann man sich noch am Test beteiligen ?

[EchtAtze]

@Grainger:

Klar kannst du mittesten.
Schreib mal, dann schicke ich es dir.
***

Einen Namen hat es schon, wobei ich nicht sagen möchte dass es der Endgültige ist: FileCompare. Das war das erste was mir einviel als ich das Projekt speichern musste...

Nur vergleicht es ja momentan noch nicht, sondern bietet die Basis zum späteren komfortablen Vergleichen mit Tools wie Access.

Aber wie oben schon geschrieben:
Vorschläge erwünscht!

Gruß,
Atze

[aurelia]

@EchtAtze:

Das Programm hört sich echt interessant an. Bin gerade dabei, meinen Rechner mal aufzuräumen und muß die doppelten Dateien ausfindig machen.
Da würde das Programm genau dafür passen.

Würde ich ganz gerne mal austesten.

Gruß
aurelia

[Reyno]

Hi Atze,

ich würde auch gerne mittesten.

Schickst Du es mir an meine Portalen-Adresse?

Danke

Bye bye

Reyno

[EchtAtze]

@aurelia:
Schreib' doch bitte eine Mail an
***


@Reyno:
Post ist raus.

Gruß,
Atze

[SkAvEnGeR]

@EchtAtze,

wie du siehst ist das Interesso doch grösser, als du vielleicht dachtest.

Ich würde sagen: Bleib am Ball!

Es ist sicher keine falsche Idee, es auch mal in einem anderen Board vorzustellen und das Feedback abzuwarten.

Aber trotz alledem bin ich halt nicht der einzige, den dein Tool interessiert.

Mach doch einfach weiter. Was sich daraus entwickelt, wird man sehen. Aber ich bin da sehr zuversichtlich.
Im Endeffekt ist es ja DEIN BABY. Wer weiss, vielleicht hast du ja auch bald ne HP zum Tool.

Also bleib dran!

Gruss

[Grainger]

@EchtAtze

Ich schicke Dir die Mail später, momentan bin ich wieder mal mit V90 unterwegs weil mein T-DSL seit Dienstag nicht mehr funktioniert. Ich hoffe, das klappt im Laufe der nächsten Woche wieder.

[Dr.Solar]

@EchtAtze

Mail ist raus. Mal schauen, ob das ist, was ich suche.

Dein letztes Programm war schon super.

[EchtAtze]

Hi Dr.Solar.

Die Mail ist raus.

Mein letztes Programm?
Was war das denn?

Gruß,
Atze

[Dr.Solar]

Danke für die Mail.

Läuft gut. Die Geschwindigkeit ist gut.

Allerdings wie soll man jetzt die doppelten Files z.B. löschen oder verschieben ? :confused:

Per Hand ist es wohl etwas zu viel Arbeit.

Kannst du das vielleicht einbauen, das doppelte Files mit Verzeichnisstruktur in einem Ordner kopiert werden ?
So als Zusatzfunktion.

Kann man in der Textlist das noch so einbauen, das steht, wo sich die doppelten Files befinden ?
Weil ich habe mal ein paar Files getestet und finde einfach keine anderen.

[EchtAtze]

Hi Solar,
ja, so etwas kann ich noch einbauen.
Momentan wird halt 'nur' diese Liste erstellt.
Skavenger (der Thread-Starter) hat sich diese Datei in Access importiert und dort nach doppelten Einträgen gesucht.
Damit geht das sehr gut.
Der jetzige Stand war/ist ja primär um ihm zu helfen.
Nun kann ich das Programm ja noch ausbauen.

Gruß,
Atze

P.S.: Morgen bin ich abwesend, deshalb werde ich mich frühestens Abends wieder melden können.

[Durisol]

@EchtAtze
Mail ist raus.

Direkt löschen wäre sicher ein sehr komfortables Feature.
Kann leider zum Programm noch nichts sagen.
Freue mich auf deine Mail.

[Swain]

Ich habe auch interesse an soetwas, da ich auch gelengtlich das problem habe User davon zu überzeugen nur einen Ordner auf dem server zu benutzen *g*


Ich hab dir ne Mail geschickt.


Gruß

[EchtAtze]

@Swain und Durisol:
Mail ist raus.

Gruß,
Atze

[SkAvEnGeR]

Hi EchtAtze,

ich hab da wohl nen Bug entdeckt... :-(

folgende Situation:

Server mit NT4, NTFS, 1GB RAM -> Laufwerke freigegeben
Workstation mit W2k, NTFS, 1GB RAM, Netzwerklaufwerke gemappt
von Workstation aus Unterverzeichnis aus gemapptem NetzLW durchsucht
nach durchsuchen von ca. 9000 Dateien kommt Fehlermeldung: nicht genügend speicher :-(

obwohl auf der Festplatte genug frei war und bei 1 GB RAM sollte auch darin noch genug frei sein.

Nun meine Frage zum allgemeinen Verständnis:

Wo genau schreibt das Tool denn die Zwischenergebnisse der suche/des hashings hin?? In den RAM oder in eine TEMP-Datei??
Kann das Tool mit Dateien umgehen, die momentan geöffnet sind??

Bis nachher...

[EchtAtze]

Hi SkAvEnGeR.

Das Tool sammelt die Daten in dieser Version (noch) im RAM (zukünftig will ich das in einer MDB ablegen).
Allerdings habe ich auf meinem Rechner (Win2k SP2, 512MB) über Platte C (NTFS) laufen lassen.
Ergebnis: 68000 Dateien, kein Fehler. Speicherverbrauch laut Taskmanager hat 40MB nicht überschritten.
Evtl. liegt es am Netzwerkzugriff...
Muss ich mal testen...

Zu den geöffneten Dateien:
Wenn diese Dateien für das LESEN gesperrt sind kann es nicht darauf zugreifen (kann dann kein Programm).
Sie tauchen im Ergebnis auf, jedoch ohne Hash, da sie nicht geöffnet werden konnten.

Gruß,
Atze

[EchtAtze]

So, ich habe mal übers Netz ein Laufwerk 'durchgezogen':
Ca. 47000 Dateien.
Knapp 10GB.
Kein Problem.
Die Frisur hält.
Server: Win2k SP2
Client: Win2k SP2

Ich glaube da kann ich dir nicht helfen... sorry...

Gruß,
Atze

[SkAvEnGeR]

Hi EchtAtze,

ich hab das ganze nun auch nochmal getestet.

Also bei mir läuft es wunderbar.

Nur meine Frage: Es haben ja noch mehrere Leute Interesse an deinem Tool bekundet. Gibt es schon ein Update??

Ich würde mich freuen (und andere Boardies sicher auch), wenn dieses Tool weiterentwickelt würde.

Lass doch mal wieder was von dir hören.

Beste Grüsse

[taffit]

Hätte auch Interesse an dem Tool... Mail ist schon raus...
Vielen Dank, echt super solche Leute am Board

[EchtAtze]

Hi SkAvEnGeR,

klar mache ich weiter nur habe ich momentan nicht die Zeit, aber es wird kommen

Gruß,
Atze

Edit:
@Taffit, Mail ist raus.

[landrobber]

Hi EchtAtze

wow, dein Tool scheint ja echt der Hammer zu sein. Ich habe ebenfalls Interesse daran. Schicke dir gleich im Anschluss eine Mail . Hoffentlich ist das auch noch aktuell, die Postings sind ja inzwischen ein paar Tage alt
Wäre super....

Viele Grüße
Rob

[Rubb]

Hai, robb Suche mal nach "bincomp" hier im board, ich meine das kann sowas auch!

edit// http://home.arcor.de/rushifell/bincomp.htm

[EchtAtze]

Ich hab das 'alte' Ding mal hier hingelegt:
http://rapidshare.com/files/25828046...mpare.zip.html

Gruß,
Atze

[landrobber]

Hi Rubb,

vielen Dank für den Tipp, werde ich auch ausprobieren

Viele Grüße
Rob

[landrobber]

Hi Atze,

vielen Dank für den Download !

Viele Grüße
Rob

[DrSnuggles]

Hoffentlich checkt das Programm zumindest noch zusätzlich die Größe.

[EchtAtze]

Meinste meins?
Das kann jeder selber machen.
Ich erstelle nur die CSV Datei, die man dann z.B: mit Access selber auswerten kann. Inhalt sind FullPathFileName, FileName, Size, Hash.
Beispiel:

"c:\test\FileCompare.exe";"FileCompare.exe";"32208";"9BFCD7C1677031E42CF1CFADC00747FC"

Gruß,
Atze

[DrSnuggles]

Hatte nur die Threadüberschrift gesehen, der Hash sieht viel besser aus als CRC. Dann ist das mit der größe nicht so wichtig, die Chance auf eine Kollision ist minimal bei solch einem langen Hash.

Als Schweizertaschenmesser in dem Bereich kann man auch Jacksum benutzen: http://www.jonelo.de/java/jacksum/index_de.html

[Brummelchen]

MD5-Hash? IMO dauert so ein Hash länger als simpler CRC, wobei es bei
letzterem auch zig Varianten gibt. Die meisten guten Programme checken
bei gleichem CRC dann den Inhalt (Byteweise).

[DrSnuggles]

@Brummelchen:

Das haut heutzutage nicht so rein

4,7 GB große Datei
CRC32 - 2:05 Minuten
md5 - 2:15 Minuten

[Brummelchen]

Macht sich auch erst bei vielen kleinen bemerkbar

[DrSnuggles]

Nein, auch da nicht.
2,2 GB in 1.200 Dateien (35 Verzeichnisse).
CRC32 : 4:00 Minuten
md5: 4:07 Minuten

Minimal langsamer ja, aber nicht so, daß man sowas ungenaues wie CRC benutzen sollte.
Das Problem ist sowieso die lahme Platte. CPU bei CRC32 auf 1% und bei md5 auf 3%