Tool zum kompletten Download von Webseiten? - CC-Community Board

**Napsspan** · 10.04.2002, 09:37

Hallo Leute,

gibt es ein Programm das eine Website automatisch komplett mit allen Links herunterlädt und kein Problem mit langsamen/abbrechenden Downloads oder Frames hat? Auf der Seite gibt es jede Menge kleine Downloads die ich mir alle gerne ziehen würde, aber mit Ziel speichern unter werde ich wahnsinnig!

Der Getright Browser z.B. sagt die betroffenen Seite läßt es nicht zu den Index anzuzeigen.

Danke für Eure Antworten

Gruß
Naps

**zscan** · 10.04.2002, 09:40

Ich verwende immer http://www.httrack.com/page3.php
Klappt mit den meisten Seiten ganz gut, aber auch ned immer.

**Napsspan** · 10.04.2002, 09:53

Yes YES YES!!! Es klappt damit! Nachdem ich die richtige URL eingetragen habe kann es die Links listen und schafft die Downloads spielend!!

Supergeiles Tool!!!

Vielen Dank für die schnelle Hilfe!!

Grüße
Naps

**Myphos** · 10.04.2002, 10:55

moin...

Teleport Pro ist auch ganz nett, kannst du ja mal probieren. Einfach mal bei google eingeben da findet sich schnell ein Download.

tschüß
Myphos

**rick_s** · 10.04.2002, 11:34

Die weiteren Standardprogramme, die bei dieser Frage genannt werden sind noch Offline Explorer/Pro/Enterprise und WebZip. Geschmackssache.

Ich schwöre aber weiterhin auf den Kommandozeilen-Klassiker Wget in der jeweils aktuellen Windows-Portierung.

Rick

**Swain** · 10.04.2002, 14:54

wenn du nen Unix hast

wget

is das beste wo gibt, einstellbar wie tief die links gehen sollen inlklusive ....

**Smilor** · 10.04.2002, 15:23

Auch wenn du Windows hast:
wget

Der Link zur Windows Version ist mir entfallen, vielleicht hilft google da weiter.

**Swain** · 10.04.2002, 15:35

ok überredet.. :mrgreen:

hier ist der link

http://www.gnu.org/software/wget/wget.html

also ich mache fast alles damit

**rick_s** · 10.04.2002, 16:30

Na, das läuft mir altem Wget-Fan und -Verfechter doch wie Öl runter, daß in einem solchen Thread nicht nur ich sondern gleich 3 meiner Nachredner das gleiche empfehlen :-)

Ich geb' da gleich noch was drauf: Wackget (s.o.) ist nichts anderes als ein GUI für wget. Wer braucht das schon. Aber wer will:

http://millweed.com/projects/wackget/

Ein andereres GUI:

http://www.jensroesner.de/wgetgui/

Und die "Haupt"seite für den Windows-Port:

http://space.tin.it/computer/hherold/

Und wenn Du das binary hast, einfach mal ins Command-Verzeichnis kopieren (oder in das Verzeichnis, in das Du downloaden willst) und auf der Kommando-Zeile mit wget -r -l0 -np -nc URL aufrufen. Aber Vorsicht, dann saugt er Dir alles runter, was unter dieser URL auf der Site abgelegt ist. Help-File lesen und Man-Page lesen hilft weiter.

Wget rules!

Rick

**Swain** · 10.04.2002, 16:40

Zitat:

Zitat von rick_s

Na, das läuft mir altem Wget-Fan und -Verfechter doch wie Öl runter, daß in einem solchen Thread nicht nur ich sondern gleich 3 meiner Nachredner das gleiche empfehlen

Rick

hatte ich doch überlesen das du es empfohlen hast *peinlich*

egal aber hast recht

Zitat:

Zitat von rick_s

IWget rules!

Rick

und man-pages lesen ruled auch !

danke für den TIp mit den GUI´s dann brauch meine freundin sich nicht durch die scripte wühlen die ich ihr geschrieben habe, damit sie es richtig benutzen kann

**honndo** · 11.04.2002, 01:05

hüüp://www.maximumsoft.com/

webcopier. geht sehr gut!

**Garak** · 11.04.2002, 05:43

eigentlich was fürs TopTopic...

Ich verschiebe es mal.

Grüße

Garak

**Jonny Worker** · 13.04.2002, 10:12

Richtig konfiguriert bring der Offline Explorer bei mir die besten Ergebnisse. Kurz danach kommt Teleport pro. Keine Ahnung, was WGet da besser machen sollte, außer daß es kleiner ist und erheblich schwieriger zu bedienen ist. Ist aber Geschmackssache. Ich laß mich aber gern von den WGet-Fans überzeugen. Wenn mir jemand die Kommandozeile liefern kann, die mir die JPG-Bilder von einem beliebigen Verzeichnis dieses Servers runterläd - dann Hut ab:

http://thor.compnet.ru/dreams/

Ein ähnlicher Kandidat ist :

http://gal.mvc.ru/

Ohne Klickarbeit keine Bilder!
Soooo, da bin ich mal gespannt ;p

Grütze
Worker

Themistocles · 13.04.2002, 12:11

hi

meine Lieblingsprogramme sind Teleport Pro und Blackwidow, wobei ich Blackwidow seit einige Zeit bevorzuge, weil es einfach genial ist, und alles bietet was man braucht

Link:

Teleport Pro 1.29
Blackwidow 4.5

**rick_s** · 13.04.2002, 22:59

@JonnyWorker

Eine Herausforderung für einen Wget-Fan? :-)

OK, der Leech-Schutz ist ganz ok. Mit einer einfachen Kommandozeile habe ich's trotz referrer faking und user-agent nicht geschafft. Aber mit ein bißchen Fantasie und Editor-Arbeit (insbesondere bei so homogon aufgebauten Verzeichnissen)

Schreibe Dir in eine Batch-Datei folgende Zeile:

wget -x --user-agent=MSIE/5.0 --referer=http://thor.compnet.ru/dreams/ClydeCaldwell/caldwell_001.jpg http://thor.compnet.ru/dreams/ClydeC...ldwell_001.jpg

und wiederhole dieses beliebig häufig mit copy/paste oder wie auch immer in für den Rest der Bilder im Verzeichnis. Dann die Batch-Datei starten und VOILA!

Ein Tick mehr Arbeit notwendig, aber immer noch besser als klicken, oder?

Ich habe nur die eine Site probiert.

Rick

**Jonny Worker** · 14.04.2002, 08:37

Nicht schlecht, Kompliment! An dieser Site brechen sich sämtliche Websiteripper die Zähne aus. Aber ganz ehrlich, aufwändig ist es schon, die Batchdatei einzurichten. So richtig vom Hocker haut mich die Lösung nicht. Ich denke mal, man ist mit "klick and safe" mindestens genau so schnell. Zumindest geht´s prinzipiell, das ist schonmal super. Da wir ja so zahlreiche WGet-Freunde hier haben - hat jemand eine andere (schnellere) Lösung?
Für http://gal.mvc.ru/ scheint´s keine Lösung zu geben? Dort sind die Bilder per Script verlinkt. Im path befindet sich ein Verzeichnis aus Lehrzeichen: path/ /bild.jpg - auch eine Sache, die kein Offlinebrowser kann.
Rick, wie bist Du auf die Lösung gekommen? Die vermeintlichen jpg´s sind ja html-Files. Das scheint der eigentliche Knackpunkt zu sein. Der Offlinebrowser findet ein File, speichert es und meint, seine Aufgabe sei erledigt - oder irre ich mich?

grübelgrübel
Worker

**klumy** · 14.04.2002, 09:57

Httrack ist als Freeware unschalgbar.
Wenn du jedoch noch mehr Optionen benötigst, kommst du an der Shareware Offline Explorer nicht vorbei.

**rick_s** · 14.04.2002, 21:01

Tja, Jonny,

> Aber ganz ehrlich, aufwändig ist es schon, die Batchdatei einzurichten.

Ich finde nicht. Ich mach's häufiger so. Es kommt ja auch auf die Menge der Bilder und die Geschwindigkeit der Verbindung an. Bei einer langsamen ziehe ich's vor, wget im Hintergrund rödeln zu lassen und nicht alle halbe Minute für ein Bild zu klicken.

Überhaupt, wenn man ein bißchen mit einem guten Texteditor (zB Textpad oder Ultraedit) umgehen kann einschließlich ein wenig regular expressions hat sich doch ganz schnell seine Dateien zusammen gebastelt. Na gut, wenn man sich das alles das erste Mal zusammensucht, dauert's etwas.

Aber Leech-Protection soll das Leechen ja auch schließlich etwas aufwendiger machen, wenn es schon nicht verhindert werden kann. ;-)

> Rick, wie bist Du auf die Lösung gekommen?

Mit ein bißchen Nachdenken ;-) Wie kann die Leech-Protection denn unterscheiden, ob die Anfrage über einen Klick über den Browser oder über einen Ripper kommt? Im Prinzip doch nur über den Referrer oder den user-agent. Und nichts anderes täuscht die command-line vor, daß der IE von der (HTML-Seite) .....jpg auf die Datei ...jpg zugreifen will. Wahrscheinlich kann man auch den -x oder -p Schalter weglassen. Habe nicht mehr groß experimentiert, als es geklappt hat.

> Für http://gal.mvc.ru/ scheint´s keine Lösung zu geben?

Doch, eine ähnliche. Die eigentlichen Bild-Dateien sind noch nicht mal besonderes geschützt. Wenn Du die URL kennst, kannst Du sie direkt mit Browser oder einem Ripper laden. Wenn ich die Bilder der Seite en-batch laden wollte, würde ich wohl es so versuchen:

Erst einmal rauskriegen, ob ein Muster bei den Pfadnamen der Bilder vorhanden ist (hier mit den "small" Bildern u. Verzeichnissen).

Erst einmal wget "normal2 drüber laufen, so daß er alle html-Seiten zieht (die Bilder kriegt er da wegen dem Javascript noch nicht mit).

Die html Seiten in eine große Datei kopieren. Diese dann mit Texteditor so editieren, so daß nur die links in den Scripts übrig bleiben, diese entsprechend der tatsächlichen Speicherorte ändern oder ergänzen. Das als Text oder Batch-Datei speichern und wieder wget drüber laufen lassen.

Klingt komplizierter und aufwendiger als es ist. Aber wer lieber klicken möchte. :-)

Rick

**Boratus** · 16.04.2002, 14:14

Schon mal Internet Sammler ausprobiert?
Das Proggie erstellt wunderbar übersichtlich eine Datenbank aller gespeicherten Webseiten.
Als Freeware kann man 100 Webseiten abspeichern. Wer mehr will, muß löhnen.
Download findet man hier:
hddp://www.macropool.com/de/produkte/internetsammler/index.html
Bin sehr zufrieden damit..
Boratus

cest moi encore · 08.05.2002, 22:31

Memoweb, gibt es als memoweb flash gratis oder als memoweb ... nicht unbedingt gratis (ausser bei den üblichen Vorverkausfsstellen...)
Nach dem ich 8 verschiedene Programme ausprobiert habe , bin ich bei MemoWeb geblieben.
w*w.goto-software.com

Ist super komfortabel. Für Freunde der Kommandoezeile: Sorry, Ihr müsst leider Däumchen drehen :mrgreen:

gibt's in mehreren Sprachen, und wer Französisch kann,, der kann sich sogar die Vollversion zusammen basteln (Merci, Supergégé !)

:

**Stardust001** · 29.06.2002, 10:48

Ich habe für die wenigen Male wo es nötig war

Adobe Acrobat genommen.

Klappt bestens.

Gruss

Stardust001

hans74001reg · 29.06.2002, 15:36

danke für die anregende diskussion. mal sehen obs jetzt besser geht.

hans

Gunny · 10.07.2002, 09:39

Einen habe ich auch noch Webstripper, fRee und macht seine Sache auch sehr gut allerdings nur für Fenster, glaube ich .....

Gunny

**Wolf Larsen** · 31.07.2002, 19:54

Guten Abend!

Der Offline-Explorer ist wohl ganz nett :-) Hatte bisher immer den TelePort Pro. Letztens kam bei mir die Frage auf, ob man Bilder nicht nur nach Dateigrößen sondern auch nach Größe in px filtern kann. Zumindest bei Offline Explorer Enterprise geht das wohl. Mal probieren.

Ahoi!
Wolf

**dosenbrot** · 02.08.2002, 23:47

hi Leute,
Gibt es da irgendwo eine ausführliche deutsche Anleitung für Wget ?

Hab keine Ahnung wie das mit der Batchdatei gehen soll ?
Wenn das nämlch klappen sollte mit geschützten Websiten zu kopieren, da hätte ich nämlich einiges zu saugen.
Hmm wenn einer weis wo es ein deutsches Tutorial oder ne gute Anleitung für das Programm gibt, das wäre super.

**sputnik** · 12.08.2002, 17:45

Ich verwend auch den adobe acrobat und bin eigentlich recht zufrieden damit.

greez
sputnik

Anonymous · 24.09.2002, 19:10

Hallo,
beteilige mich auch jetzt mal hier dran. Ich habe eine Möglichkeit gefunden, auch scriptgesteuerte Bilder (z.B. aus Archivseiten) einfach komplett herunterzuladen. Das Programm heisst PicGrabProfessional (in Google mal suchen), und hat so ziemlich alles gezogen, wo sich andere Proggis die Zähne ausgebissen haben......
Ich weiß nicht wie (dazu kenn ich mich zu schlecht aus), aber das Programm sucht auch bei Links wie http://................/img.php?ser=...es.php?ser=550 die Bilder raus. Das dauert zwar ein Weilchen, aber immer noch zig mal besser als click and save.
Über Rückmeldungen bin ich sehr interessiert...
Griß, Helmut :lol

Jargo · 26.09.2002, 00:07

Hi,
wie sieht das mit Flash Animationen aus. KAnn da einer einen guten Tip abgeben? Ich hab da einiges und will nicht jedesmal die Adresse raussuchen

In meinen Temp Inet sind die nämlich nicht

**dr_tommi** · 26.09.2002, 11:30

Und gleich noch eine Frage an die Experten:
Wie kann ich per Kommandozeile von einem Webserver das Ergebnis eines CGI-Scriptes speichern. Es handelt sich dabei um ein Perlprogramm, das mit Parametern der Form para1=wert1&para2=wert2 usw. aufgerufen wird. Als Ergebnis kommt eine Exceldatei, die auch schon einen Namen hat. Der Name, unter dem die Datei gespeichert werden soll ist aber nicht wichtig, da die Exceldatei anschließend für Statistikzwecke automatisch per Batch umgearbeitet wird.
Das Problem ist nur das Speichern der Datei.

Wget meckert immer was von Bad file descriptor..
Url2File konnte ich leider auch nicht dazu bewegen, mir die Datei zu holen.

Mit welchem Programm kommt man da weiter und wie?? Für Linux oder WINNT/2k.

Danke schon mal.

**forwarder** · 26.09.2002, 12:07

kann in dem zusammenhang noch discopump empfehlen. man kann z.b. bei nem kompletten site-mirror während des downloads per klick ganze bereiche aus/einschliessen, etc.. wirklich nett.

http://www.disco.ru

44-ZDD000000000,88-ZDD000000000,99-ZDD000000000,NA-VHH000000000,AA-WII000000000,BP-TJJ000000000,HP-UKK000000000,8B-RLL000000000,1A-SMM000000000,0P-PNN000000000,8P-QOO000000000,MP-NPP000000000,PP-NPP000000000

ups... da muss ich wohl auf die tastatur gefallen sein...

**Wary** · 31.01.2003, 23:45

Zitat:

Zitat von HelmutKa

Hallo,
beteilige mich auch jetzt mal hier dran. Ich habe eine Möglichkeit gefunden, auch scriptgesteuerte Bilder (z.B. aus Archivseiten) einfach komplett herunterzuladen. Das Programm heisst PicGrabProfessional (in Google mal suchen), und hat so ziemlich alles gezogen, wo sich andere Proggis die Zähne ausgebissen haben......
Ich weiß nicht wie (dazu kenn ich mich zu schlecht aus), aber das Programm sucht auch bei Links wie http://................/img.php?ser=...es.php?ser=550 die Bilder raus. Das dauert zwar ein Weilchen, aber immer noch zig mal besser als click and save.
Über Rückmeldungen bin ich sehr interessiert...
Griß, Helmut :lol

Wo kann man denn das Programm Downloaden?
www.picpluck.com funktioniert nicht

Oder ist das nur ein Temporärer ausfall?

Der Jimi · 18.02.2003, 17:09

Denkt Ihr eigentlich auch nach???

Der Scheiss belastet Webseiten und kostet mächtig Traffic, also bares Geld.

Mein Projekt wird *täglich* mit dem Mist bearbeitet, tausende von Files werden abgerufen. Erst heute Mittag auf einem Rutsch über 2000 Zugriffe.

Wehren dagegen? Unmöglich.

Denkt dran, daß Webmaster nicht unbegrenzten Traffik haben und für so einem Mist mit barer Münze zahlen müssen. nd wegen massiver SQL-Zugriffe dreht der Provider dann denn Saft zusätzlich ab - alles erlebt.

J.

**Wary** · 18.02.2003, 17:58

Zitat:

Zitat von Der Jimi

Denkt Ihr eigentlich auch nach???

Der Scheiss belastet Webseiten und kostet mächtig Traffic, also bares Geld.

Mein Projekt wird *täglich* mit dem Mist bearbeitet, tausende von Files werden abgerufen. Erst heute Mittag auf einem Rutsch über 2000 Zugriffe.

Wehren dagegen? Unmöglich.

Denkt dran, daß Webmaster nicht unbegrenzten Traffik haben und für so einem Mist mit barer Münze zahlen müssen. nd wegen massiver SQL-Zugriffe dreht der Provider dann denn Saft zusätzlich ab - alles erlebt.

J.

Warum blockst du die nicht?

Der Jimi · 18.02.2003, 18:04

Dann erzähl mal wie -

eine robots.txt zu umgehen gehört für Offline Browser schon lange zum Standart.

Gruss,
Jimi

**Wary** · 19.02.2003, 14:37

Zitat:

Zitat von Der Jimi

Dann erzähl mal wie -

eine robots.txt zu umgehen gehört für Offline Browser schon lange zum Standart.

Gruss,
Jimi

eine robots.txt wird ja auch vom Offlinebrowser ausgewertet.
Eine .htaccess Datei vom Apache.
Natürlich kann man die umgehen. aber die zugriffe mit Offlinebrowsern werden sicher sinken.

Der Jimi · 19.02.2003, 16:39

Jou,

habe jetzte eine .htaccess mit rewrite-Optionen vorliegen, danke.

Gruss,
Jimi

**Ratburger** · 24.07.2003, 14:15

Hi,

ich hab das Problem, von einer Site html-Seiten mit Bildern downzuloaden, bei der die gewünschten Seiten über Javascripts aufgerufen werden. Die bisher probierten Tools schaffen nur die Haupseite, nicht aber die, die über die Sripte aufgerufen werden. Kennt jemand eine Lösung?

Wer sich das mal ansehen will: http://oami.eu.int/bulletin/rcd/rcd_bulletin_en.htm
Mir geht's um die html-Dateien im linken Frame, die man nach Klick auf die +Zeichen, dann auf "A" und dann auf "A1" bekommt.

Gruß
Ratburger

**Motorrad** · 02.08.2003, 18:47

Also ich bin mit dem Contentsaver von Http://www.macropool.com sehr zufrieden. Der saugt wirklich alles - auch die von Futzies gesperrten Seiten mit .htaccess. Somit bekommt man wirklich alles herunterunter was man so braucht :mrgreen: und braucht sich keine sorgen um ihrgendwelche Kleingteister und Pfennigfuchser zu machen ;p

Gruss

Motorrad II ( der kleine ) zu Besuch

Der Jimi · 03.08.2003, 01:09

Motorrad,

ohne "Kleingeister und Pfennigfuchser" würde es keine Websites geben.

Ich find's geil daß man ein kostenloses Angebot aufbaut und dann noch beleidigt wird, dankeschön.

Möchtest Du gerne meine Servergebühren bezahlen?

Ich schätze aber daß bei Dir dummen Pisser dazu das Taschengeld nicht ausreicht, denn älter als 12 schätze ich Dich nicht ein.

J.

Liborius · 11.12.2003, 11:57

Für den speziellen Zweck (Bilder runterladen) gibt es ja spezielle Programme, die nur das machen(zwei Beispiele von vielen: Express Picture Finder, Internet Image Collector).

Aber es geht auch mit Offline Browsern. Ich verwende den Offline commander von http://www.zylox.com/.
Der hat den Vorteil, daß die Daten nicht über die Festplatte verteilet als HTML herumliegen, sondern eine ganze Online Session ist in einer Access Datei . Dies läßt sich dann auch sehr leicht kopieren. Ansonsten erinnert das Programm in seinem Komfort und seiner Arbeitsweise stark an Flashget. Es arbeit eben ganz anders (vielleicht gewöhnungsbedüftig) als die anderen Offline Browser. Man kann es im übrigen (mit einigen grundsatzbedingten Einschränkungen) auch als richtigen Online Browser verwenden. Probiert es mal aus.

Bis dann
Liborius

**Spacelord** · 11.12.2003, 17:27

Moin Jargo,

ich habe das früher immer mit Flashhunter gemacht ...

Defcon-1 · 17.03.2004, 12:24

Hi Motorrad,

grosser Nachteil bei der neuen Version 1.7 build 2117 von Content Saver ist, das er keinen Proxy Zugriff mehr zulässt. Tolle Verschlimmbesserung

mit netten Grüssen Defcon-1

10.04.2002, 09:37	#1
Napsspan Oldie Registriert seit: 05.12.2001 Beiträge: 136	Tool zum kompletten Download von Webseiten? Hallo Leute, gibt es ein Programm das eine Website automatisch komplett mit allen Links herunterlädt und kein Problem mit langsamen/abbrechenden Downloads oder Frames hat? Auf der Seite gibt es jede Menge kleine Downloads die ich mir alle gerne ziehen würde, aber mit Ziel speichern unter werde ich wahnsinnig! Der Getright Browser z.B. sagt die betroffenen Seite läßt es nicht zu den Index anzuzeigen. Danke für Eure Antworten Gruß Naps

16.04.2002, 14:14	#19
Boratus Oldie Registriert seit: 14.05.2001 Ort: Ruhrpott Beiträge: 415	Internet Sammler 2002 Schon mal Internet Sammler ausprobiert? Das Proggie erstellt wunderbar übersichtlich eine Datenbank aller gespeicherten Webseiten. Als Freeware kann man 100 Webseiten abspeichern. Wer mehr will, muß löhnen. Download findet man hier: hddp://www.macropool.com/de/produkte/internetsammler/index.html Bin sehr zufrieden damit.. Boratus

31.07.2002, 19:54	#24
Wolf Larsen Kapitän Registriert seit: 02.06.2001 Ort: Ghost Beiträge: 2.227	Offline Explorer Guten Abend! Der Offline-Explorer ist wohl ganz nett :-) Hatte bisher immer den TelePort Pro. Letztens kam bei mir die Frage auf, ob man Bilder nicht nur nach Dateigrößen sondern auch nach Größe in px filtern kann. Zumindest bei Offline Explorer Enterprise geht das wohl. Mal probieren. Ahoi! Wolf

12.08.2002, 17:45	#26
sputnik Oldie Registriert seit: 29.12.2001 Ort: kosmos Beiträge: 469	acrobat Ich verwend auch den adobe acrobat und bin eigentlich recht zufrieden damit. greez sputnik

24.09.2002, 19:10	#27
Anonymous Oldie Registriert seit: 01.01.1970 Beiträge: 534	Habe (ziemlich sicher) eine gute Lösung gefunden............ Hallo, beteilige mich auch jetzt mal hier dran. Ich habe eine Möglichkeit gefunden, auch scriptgesteuerte Bilder (z.B. aus Archivseiten) einfach komplett herunterzuladen. Das Programm heisst PicGrabProfessional (in Google mal suchen), und hat so ziemlich alles gezogen, wo sich andere Proggis die Zähne ausgebissen haben...... Ich weiß nicht wie (dazu kenn ich mich zu schlecht aus), aber das Programm sucht auch bei Links wie http://................/img.php?ser=...es.php?ser=550 die Bilder raus. Das dauert zwar ein Weilchen, aber immer noch zig mal besser als click and save. Über Rückmeldungen bin ich sehr interessiert... Griß, Helmut :lol

10.04.2002, 09:40	#2
zscan Wayne? Registriert seit: 26.04.2001 Ort: Q3CTF2 Beiträge: 3.237	Ich verwende immer http://www.httrack.com/page3.php Klappt mit den meisten Seiten ganz gut, aber auch ned immer.

10.04.2002, 09:53	#3
Napsspan Oldie Registriert seit: 05.12.2001 Beiträge: 136	Yes YES YES!!! Es klappt damit! Nachdem ich die richtige URL eingetragen habe kann es die Links listen und schafft die Downloads spielend!! Supergeiles Tool!!! Vielen Dank für die schnelle Hilfe!! Grüße Naps

10.04.2002, 10:55	#4
Myphos Oldie Registriert seit: 27.04.2001 Beiträge: 377	moin... Teleport Pro ist auch ganz nett, kannst du ja mal probieren. Einfach mal bei google eingeben da findet sich schnell ein Download. tschüß Myphos

10.04.2002, 11:34	#5
rick_s Oldie Registriert seit: 08.06.2001 Beiträge: 819	Die weiteren Standardprogramme, die bei dieser Frage genannt werden sind noch Offline Explorer/Pro/Enterprise und WebZip. Geschmackssache. Ich schwöre aber weiterhin auf den Kommandozeilen-Klassiker Wget in der jeweils aktuellen Windows-Portierung. Rick

10.04.2002, 14:54	#6
Swain Oldie Registriert seit: 19.05.2001 Ort: 65 m ü. NN Beiträge: 2.563	wenn du nen Unix hast wget is das beste wo gibt, einstellbar wie tief die links gehen sollen inlklusive ....

10.04.2002, 15:23	#7
Smilor Oldie Registriert seit: 22.04.2001 Beiträge: 370	Auch wenn du Windows hast: wget Der Link zur Windows Version ist mir entfallen, vielleicht hilft google da weiter.

10.04.2002, 15:35	#8
Swain Oldie Registriert seit: 19.05.2001 Ort: 65 m ü. NN Beiträge: 2.563	ok überredet.. :mrgreen: hier ist der link http://www.gnu.org/software/wget/wget.html also ich mache fast alles damit

10.04.2002, 16:30	#9
rick_s Oldie Registriert seit: 08.06.2001 Beiträge: 819	Na, das läuft mir altem Wget-Fan und -Verfechter doch wie Öl runter, daß in einem solchen Thread nicht nur ich sondern gleich 3 meiner Nachredner das gleiche empfehlen :-) Ich geb' da gleich noch was drauf: Wackget (s.o.) ist nichts anderes als ein GUI für wget. Wer braucht das schon. Aber wer will: http://millweed.com/projects/wackget/ Ein andereres GUI: http://www.jensroesner.de/wgetgui/ Und die "Haupt"seite für den Windows-Port: http://space.tin.it/computer/hherold/ Und wenn Du das binary hast, einfach mal ins Command-Verzeichnis kopieren (oder in das Verzeichnis, in das Du downloaden willst) und auf der Kommando-Zeile mit wget -r -l0 -np -nc URL aufrufen. Aber Vorsicht, dann saugt er Dir alles runter, was unter dieser URL auf der Site abgelegt ist. Help-File lesen und Man-Page lesen hilft weiter. Wget rules! Rick

11.04.2002, 01:05	#11
honndo -= still learning =- Registriert seit: 23.06.2001 Ort: Berlin Beiträge: 2.626	hüüp://www.maximumsoft.com/ webcopier. geht sehr gut!

11.04.2002, 05:43	#12
Garak Team (His Master’s Voice) Registriert seit: 23.04.2001 Beiträge: 4.119	eigentlich was fürs TopTopic... Ich verschiebe es mal. Grüße Garak

13.04.2002, 10:12	#13
Jonny Worker Oldie Registriert seit: 09.06.2001 Beiträge: 484	Richtig konfiguriert bring der Offline Explorer bei mir die besten Ergebnisse. Kurz danach kommt Teleport pro. Keine Ahnung, was WGet da besser machen sollte, außer daß es kleiner ist und erheblich schwieriger zu bedienen ist. Ist aber Geschmackssache. Ich laß mich aber gern von den WGet-Fans überzeugen. Wenn mir jemand die Kommandozeile liefern kann, die mir die JPG-Bilder von einem beliebigen Verzeichnis dieses Servers runterläd - dann Hut ab: http://thor.compnet.ru/dreams/ Ein ähnlicher Kandidat ist : http://gal.mvc.ru/ Ohne Klickarbeit keine Bilder! Soooo, da bin ich mal gespannt ;p Grütze Worker

13.04.2002, 12:11	#14
Themistocles Oldie Registriert seit: 29.11.2001 Beiträge: 419	hi meine Lieblingsprogramme sind Teleport Pro und Blackwidow, wobei ich Blackwidow seit einige Zeit bevorzuge, weil es einfach genial ist, und alles bietet was man braucht Link: Teleport Pro 1.29 Blackwidow 4.5

13.04.2002, 22:59	#15
rick_s Oldie Registriert seit: 08.06.2001 Beiträge: 819	@JonnyWorker Eine Herausforderung für einen Wget-Fan? :-) OK, der Leech-Schutz ist ganz ok. Mit einer einfachen Kommandozeile habe ich's trotz referrer faking und user-agent nicht geschafft. Aber mit ein bißchen Fantasie und Editor-Arbeit (insbesondere bei so homogon aufgebauten Verzeichnissen) Schreibe Dir in eine Batch-Datei folgende Zeile: wget -x --user-agent=MSIE/5.0 --referer=http://thor.compnet.ru/dreams/ClydeCaldwell/caldwell_001.jpg http://thor.compnet.ru/dreams/ClydeC...ldwell_001.jpg und wiederhole dieses beliebig häufig mit copy/paste oder wie auch immer in für den Rest der Bilder im Verzeichnis. Dann die Batch-Datei starten und VOILA! Ein Tick mehr Arbeit notwendig, aber immer noch besser als klicken, oder? Ich habe nur die eine Site probiert. Rick

14.04.2002, 08:37	#16
Jonny Worker Oldie Registriert seit: 09.06.2001 Beiträge: 484	Nicht schlecht, Kompliment! An dieser Site brechen sich sämtliche Websiteripper die Zähne aus. Aber ganz ehrlich, aufwändig ist es schon, die Batchdatei einzurichten. So richtig vom Hocker haut mich die Lösung nicht. Ich denke mal, man ist mit "klick and safe" mindestens genau so schnell. Zumindest geht´s prinzipiell, das ist schonmal super. Da wir ja so zahlreiche WGet-Freunde hier haben - hat jemand eine andere (schnellere) Lösung? Für http://gal.mvc.ru/ scheint´s keine Lösung zu geben? Dort sind die Bilder per Script verlinkt. Im path befindet sich ein Verzeichnis aus Lehrzeichen: path/ /bild.jpg - auch eine Sache, die kein Offlinebrowser kann. Rick, wie bist Du auf die Lösung gekommen? Die vermeintlichen jpg´s sind ja html-Files. Das scheint der eigentliche Knackpunkt zu sein. Der Offlinebrowser findet ein File, speichert es und meint, seine Aufgabe sei erledigt - oder irre ich mich? grübelgrübel Worker

14.04.2002, 09:57	#17
klumy Oldie Registriert seit: 28.04.2001 Beiträge: 4.868	Httrack ist als Freeware unschalgbar. Wenn du jedoch noch mehr Optionen benötigst, kommst du an der Shareware Offline Explorer nicht vorbei.

14.04.2002, 21:01	#18
rick_s Oldie Registriert seit: 08.06.2001 Beiträge: 819	Tja, Jonny, > Aber ganz ehrlich, aufwändig ist es schon, die Batchdatei einzurichten. Ich finde nicht. Ich mach's häufiger so. Es kommt ja auch auf die Menge der Bilder und die Geschwindigkeit der Verbindung an. Bei einer langsamen ziehe ich's vor, wget im Hintergrund rödeln zu lassen und nicht alle halbe Minute für ein Bild zu klicken. Überhaupt, wenn man ein bißchen mit einem guten Texteditor (zB Textpad oder Ultraedit) umgehen kann einschließlich ein wenig regular expressions hat sich doch ganz schnell seine Dateien zusammen gebastelt. Na gut, wenn man sich das alles das erste Mal zusammensucht, dauert's etwas. Aber Leech-Protection soll das Leechen ja auch schließlich etwas aufwendiger machen, wenn es schon nicht verhindert werden kann. ;-) > Rick, wie bist Du auf die Lösung gekommen? Mit ein bißchen Nachdenken ;-) Wie kann die Leech-Protection denn unterscheiden, ob die Anfrage über einen Klick über den Browser oder über einen Ripper kommt? Im Prinzip doch nur über den Referrer oder den user-agent. Und nichts anderes täuscht die command-line vor, daß der IE von der (HTML-Seite) .....jpg auf die Datei ...jpg zugreifen will. Wahrscheinlich kann man auch den -x oder -p Schalter weglassen. Habe nicht mehr groß experimentiert, als es geklappt hat. > Für http://gal.mvc.ru/ scheint´s keine Lösung zu geben? Doch, eine ähnliche. Die eigentlichen Bild-Dateien sind noch nicht mal besonderes geschützt. Wenn Du die URL kennst, kannst Du sie direkt mit Browser oder einem Ripper laden. Wenn ich die Bilder der Seite en-batch laden wollte, würde ich wohl es so versuchen: Erst einmal rauskriegen, ob ein Muster bei den Pfadnamen der Bilder vorhanden ist (hier mit den "small" Bildern u. Verzeichnissen). Erst einmal wget "normal2 drüber laufen, so daß er alle html-Seiten zieht (die Bilder kriegt er da wegen dem Javascript noch nicht mit). Die html Seiten in eine große Datei kopieren. Diese dann mit Texteditor so editieren, so daß nur die links in den Scripts übrig bleiben, diese entsprechend der tatsächlichen Speicherorte ändern oder ergänzen. Das als Text oder Batch-Datei speichern und wieder wget drüber laufen lassen. Klingt komplizierter und aufwendiger als es ist. Aber wer lieber klicken möchte. :-) Rick

08.05.2002, 22:31	#20
cest moi encore inaktiv Registriert seit: 23.04.2001 Ort: Im sonnigen Süden Beiträge: 1.915	Memoweb, gibt es als memoweb flash gratis oder als memoweb ... nicht unbedingt gratis (ausser bei den üblichen Vorverkausfsstellen...) Nach dem ich 8 verschiedene Programme ausprobiert habe , bin ich bei MemoWeb geblieben. w*w.goto-software.com Ist super komfortabel. Für Freunde der Kommandoezeile: Sorry, Ihr müsst leider Däumchen drehen :mrgreen: gibt's in mehreren Sprachen, und wer Französisch kann,, der kann sich sogar die Vollversion zusammen basteln (Merci, Supergégé !) :

29.06.2002, 10:48	#21
Stardust001 Da wo der Pott kocht Registriert seit: 25.04.2001 Ort: Koooohlenpott Beiträge: 1.155	Ich habe für die wenigen Male wo es nötig war Adobe Acrobat genommen. Klappt bestens. Gruss Stardust001

29.06.2002, 15:36	#22
hans74001reg Oldie Registriert seit: 13.06.2002 Beiträge: 74	danke für die anregende diskussion. mal sehen obs jetzt besser geht. hans

10.07.2002, 09:39	#23
Gunny Oldie Registriert seit: 06.06.2002 Ort: ganz unten Beiträge: 100	Einen habe ich auch noch Webstripper, fRee und macht seine Sache auch sehr gut allerdings nur für Fenster, glaube ich ..... Gunny

02.08.2002, 23:47	#25
dosenbrot Leck mich en de Täsch Registriert seit: 27.04.2001 Ort: Mars Beiträge: 1.314	hi Leute, Gibt es da irgendwo eine ausführliche deutsche Anleitung für Wget ? Hab keine Ahnung wie das mit der Batchdatei gehen soll ? Wenn das nämlch klappen sollte mit geschützten Websiten zu kopieren, da hätte ich nämlich einiges zu saugen. Hmm wenn einer weis wo es ein deutsches Tutorial oder ne gute Anleitung für das Programm gibt, das wäre super.

26.09.2002, 00:07	#28
Jargo Oldie Registriert seit: 19.08.2001 Beiträge: 1.473	Hi, wie sieht das mit Flash Animationen aus. KAnn da einer einen guten Tip abgeben? Ich hab da einiges und will nicht jedesmal die Adresse raussuchen In meinen Temp Inet sind die nämlich nicht

26.09.2002, 11:30	#29
dr_tommi alter Oldie Registriert seit: 26.04.2001 Ort: Berlin Beiträge: 3.252	Und gleich noch eine Frage an die Experten: Wie kann ich per Kommandozeile von einem Webserver das Ergebnis eines CGI-Scriptes speichern. Es handelt sich dabei um ein Perlprogramm, das mit Parametern der Form para1=wert1&para2=wert2 usw. aufgerufen wird. Als Ergebnis kommt eine Exceldatei, die auch schon einen Namen hat. Der Name, unter dem die Datei gespeichert werden soll ist aber nicht wichtig, da die Exceldatei anschließend für Statistikzwecke automatisch per Batch umgearbeitet wird. Das Problem ist nur das Speichern der Datei. Wget meckert immer was von Bad file descriptor.. Url2File konnte ich leider auch nicht dazu bewegen, mir die Datei zu holen. Mit welchem Programm kommt man da weiter und wie?? Für Linux oder WINNT/2k. Danke schon mal.

26.09.2002, 12:07	#30
forwarder Toast Registriert seit: 03.06.2001 Ort: Internet Beiträge: 2.218	kann in dem zusammenhang noch discopump empfehlen. man kann z.b. bei nem kompletten site-mirror während des downloads per klick ganze bereiche aus/einschliessen, etc.. wirklich nett. http://www.disco.ru 44-ZDD000000000,88-ZDD000000000,99-ZDD000000000,NA-VHH000000000,AA-WII000000000,BP-TJJ000000000,HP-UKK000000000,8B-RLL000000000,1A-SMM000000000,0P-PNN000000000,8P-QOO000000000,MP-NPP000000000,PP-NPP000000000 ups... da muss ich wohl auf die tastatur gefallen sein...

18.02.2003, 17:09	#32
Der Jimi inaktiv Registriert seit: 22.04.2001 Beiträge: 1.153	Denkt Ihr eigentlich auch nach??? Der Scheiss belastet Webseiten und kostet mächtig Traffic, also bares Geld. Mein Projekt wird täglich mit dem Mist bearbeitet, tausende von Files werden abgerufen. Erst heute Mittag auf einem Rutsch über 2000 Zugriffe. Wehren dagegen? Unmöglich. Denkt dran, daß Webmaster nicht unbegrenzten Traffik haben und für so einem Mist mit barer Münze zahlen müssen. nd wegen massiver SQL-Zugriffe dreht der Provider dann denn Saft zusätzlich ab - alles erlebt. J.

18.02.2003, 18:04	#34
Der Jimi inaktiv Registriert seit: 22.04.2001 Beiträge: 1.153	Dann erzähl mal wie - eine robots.txt zu umgehen gehört für Offline Browser schon lange zum Standart. Gruss, Jimi

19.02.2003, 16:39	#36
Der Jimi inaktiv Registriert seit: 22.04.2001 Beiträge: 1.153	Jou, habe jetzte eine .htaccess mit rewrite-Optionen vorliegen, danke. Gruss, Jimi

24.07.2003, 14:15	#37
Ratburger Oldie Registriert seit: 25.04.2001 Beiträge: 1.154	Hi, ich hab das Problem, von einer Site html-Seiten mit Bildern downzuloaden, bei der die gewünschten Seiten über Javascripts aufgerufen werden. Die bisher probierten Tools schaffen nur die Haupseite, nicht aber die, die über die Sripte aufgerufen werden. Kennt jemand eine Lösung? Wer sich das mal ansehen will: http://oami.eu.int/bulletin/rcd/rcd_bulletin_en.htm Mir geht's um die html-Dateien im linken Frame, die man nach Klick auf die +Zeichen, dann auf "A" und dann auf "A1" bekommt. Gruß Ratburger

02.08.2003, 18:47	#38
Motorrad Oldie Registriert seit: 24.04.2001 Beiträge: 744	Also ich bin mit dem Contentsaver von Http://www.macropool.com sehr zufrieden. Der saugt wirklich alles - auch die von Futzies gesperrten Seiten mit .htaccess. Somit bekommt man wirklich alles herunterunter was man so braucht :mrgreen: und braucht sich keine sorgen um ihrgendwelche Kleingteister und Pfennigfuchser zu machen ;p Gruss Motorrad II ( der kleine ) zu Besuch

03.08.2003, 01:09	#39
Der Jimi inaktiv Registriert seit: 22.04.2001 Beiträge: 1.153	Motorrad, ohne "Kleingeister und Pfennigfuchser" würde es keine Websites geben. Ich find's geil daß man ein kostenloses Angebot aufbaut und dann noch beleidigt wird, dankeschön. Möchtest Du gerne meine Servergebühren bezahlen? Ich schätze aber daß bei Dir dummen Pisser dazu das Taschengeld nicht ausreicht, denn älter als 12 schätze ich Dich nicht ein. J.