Re: wget probleem

[Mark Stunnenberg <mark@databoss.nl>]

Hier werkt wget gewoon, ik fake wel de user agent, anders krijg ik ook die 301 loop :)

wget -U"User-Agent: Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13" http://www.argenta.be/nl/verzekeren/inventariswaarden/default.aspx

Mark Stunnenberg
Databoss bv.

On 4/7/11 3:41 PM, Joost Hoeks wrote:

Hallo Kas Coenen,

Curl met PHP werkt gewoon bij mij:

<?php
$url = '';
$ch = curl_init($url);
curl_setopt($ch,CURLOPT_FAILONERROR,1);
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_TIMEOUT,5);
$r = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);
echo '<pre>'.htmlentities($r).'</pre>';
//echo $r;

//echo '<pre>';
//print_r($info);
//echo '</pre>';
?>

Succes ermee.

Groet Joost Hoeks

Op 7 april 2011 15:14 schreef KAs Coenen <kascoenen@hotmail.com> het volgende:

hallo,

Ik probeer een website te downloaden om hier beursinformatie uit te halen. Ik heb een script geschreven dat dit alles voor mij doet. Het script werkt maar onlangs heeft argenta zijn site veranderd. Het gevolg is dat wget de site niet meer kan of wil downloaden. Dit is het commando:

 wget http://www.argenta.be/nl/verzekeren/inventariswaarden/default.aspx

Wget wordt geredirekt naar andere locaties en uiteindelijk heeft die niets gedownload (er is een max aantal redirekts). Dit is het resultaat dat ik krijg:

--2011-04-07 15:11:43--  http://www.argenta.be/nl/verzekeren/inventariswaarden/default.aspx
Resolving www.argenta.be... 194.7.43.81
Connecting to www.argenta.be|194.7.43.81|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently

... (19 keren hetzelfde en dan komt er dit)

Connecting to www.argenta.be|194.7.43.81|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://www.argenta.be [following]
20 redirections exceeded.
$ ^C
$

Ik heb al geprobeerd redirections te verhogen zonder effect. 'Curl' kan het ook niet. Raar is: een browser als lynx kan de site ook niet afbeelden terwijl firefox of sommige andere tekstbrowsers het wel kunnen. Probeer het zelf eens en laat me aub het resultaat weten, alternatieven of oplossingen zijn altijd welkom.



Groetjes,

Kas