Robozilla est de retour

Robozilla, le robot vérificateur de liens du DMOZ, vient de terminer un passage dans le répertoire.

Ce crawler vérifie périodiquement la présence de liens rompus ou redirigés dans les quelques 590 000 catégories que compte l'Open Directory Project. Après les passages de Robozilla, les éditeurs bénévoles recherchent les nouveaux URLs des liens repérés par le robot et les modifient ou les suppriment si ils ont définitivement disparu.

Ce nettoyage régulier permet au Dmoz d'être l'un des annuaires Web proposant le moins de liens corrompus.

[ce billet est une traduction libre et augmentée d'un billet d'ODP Weblog]

• Thomas,
•  15 avril 2004, 01:22,
• pour faire connaître dmoz.

Haut de page