Re: [devel] l'araignée
Le mardi 24 août 2004, Denis Barbier écrit :
> On Tue, Aug 24, 2004 at 08:05:19PM +0200, Nicolas Bertolissio wrote:
> > Quelqu'un pourrait-il vérifier ça ? c'est pas très propre, mais ça a
> > l'air de marcher. Le but est de pouvoir supprimer une ligne d'état
> > lorsuq'il y en a plusieurs. Il faudra ajouter d'autre tests et rendre ça
> > un peu plus joli.
>
> Je commence juste à m'y mettre. En règle générale, il vaut mieux ajouter
> des champs à la fin dans la Db, ça permet de conserver une
> compatibilité.
en fait j'ai modifié « url » en « list » (et son contenu aussi, il n'est
pas nécessaire de stocker toute l'url pour identifier le message, je
mets donc dans « list » YYYY-MM-NNNNN, année, mois et numéro du message)
le nouvel « url », est ce à quoi devait servir l'ancien au départ :
l'url du document à traduire ou à relire, pour le moment c'est vide.
> Et tu n'as a priori pas besoin de Data::Dumper.
parce que j'ai viré les lignes qui l'utilisaient pour le débogage et que
j'ai simplement oublié de virer aussi la ligne « use »
Je suis en train de construire mes bases de données, ça fait plus de
quatre heures que j'attaque les archives des listes, dont 3 heures 15
environ pour le français.
J'ai aussi amélioré l'araignée, elle ne parcourt plus tous les messages,
elle récupère les pages d'index des messages classés par date et fait le
tri sur les sujets avant de récupérer les messages dont le sujet va
bien.
Ah, j'allais oublier aussi dans le bts, je récurère aussi les vraies
dates des « fix » et des « done » au lieu de mettre la date à laquelle
le script s'aperçoit du changement.
C'est là :
http://people.debian.org/~bertol/spider
Nicolas
--
Reply to: