Historique des nouveaux sites sur ODP/Google

[goa103]

Bonjour,

Je cherche un moyen pour connaître la liste des nouveaux sites ajoutés ou mis à jour sur ODP/Google. La base ODP est disponible sous la forme de fichiers RDF mais il s'agit de fichiers énormes, aucun fichier de mises à jour de la base n'est disponible.

La Google API ne semble pas proposer ce genre de services pour les développeurs, je ne connais pas de services internet pour résoudre ce problème... Alors je vous pose la question.

Je ne me vois pas trop mettre à jour ma base tous les mois à partir des énormes fichiers de ODP. Ne peut-on pas en extraire les nouveautés ? Je trouve ça étrange vu que Google semble s'en servir pour mettre à jour son répertoire, tous les mois il me semble.

J'ai aussi trouvé quelques outils mais aucun ne semble proposer cette fonctionnalité, on peut extraire des liens d'une catégorie, etc... Mais pas retrouver une liste des nouveautés.

Tous vos conseils, remarques et suggestions sont les bienvenus,
JM. Molina

[tuisp]

Pour autant que je sache, rien n'est prévu pour permettre une mise à jour cumulative et Google ne procède apparemment pas ainsi. L'ensemble du Google Directory paraît être recréé à partir du dernier RDF disponible chaque fois que Google fait une mise à jour.

[cmic]

Non, nous ne produisons pas de liste journalière des nouveautés. (2500 nouveaux sites par jour en moyenne)
Nos données sont disponibles pour ceux qui veulent les utiliser, comme on vous l'a dit dans ce fil
Notre tâche est la construction du plus grand et du meilleur annuaire mondial, fait par des humains pour des humains. Nous le mettons à disposition gratuitement de ceux qui veulent l'utiliser, mais comprenez que les ressources soient d'abord affectées à notre tâche première plutôt qu'à développer des outils pour les utilisateurs des données. :-)

[goa103]

mais comprenez que les ressources soient d'abord affectées à notre tâche première plutôt qu'à développer des outils pour les utilisateurs des données. :-)

Je comprends ce problème de gestion de vos ressources mais je trouve dommage de faire l'effort de proposer ces données sans proposer de méthode ou outil pour les gérer. J'ai moi-même conçu un script pour accéder aux données des fichiers RDF, j'ai été surpris comme beaucoup d'autres de constater qu'ils étaient corrompus. En lisant lisant le fil de discussion que vous indiquez j'ai été surpris de constater que votre "SGBD" n'avait pas été mis à jour. Cela demanderait-il autant de temps ? Vous auriez tout à y gagner en portant votre système existant vers des technologies plus au goût du jour. Qu'en pensez-vous ? Je ne connais pas le projet ODP suffisamment pour proposer de réelles solutions.

Enfin j'espère que les choses iront en s'améliorant car je n'ai pas envie que les "majors" du milieu prenne le pas sur des projets aussi "humains" que ODP. Peut-être que des projets comme Open/FreeMoz donneront un second souffle à votre élan.

Merci pour vos réponses et votre travail. J'avoue ne pas trop savoir ce que je ferai sans l'ODP et Google !

JM. Molina

[goa103]

Bonjour,

Pour ceux que le sujet intéresse je vous recommande de lire la discussion Vendre le RDF DMOZ ! de Webrankinfo.

JM.

[cmic]

Bonjour,
La discussion que vous signalez remonte à 2003...
Voici quelques liens utiles et récents :
Catégorie dmoz Upload Tools
Comment obtenir les données de l'ODP
Outils, trucs et astuces du dmoz blog des éditeurs francophones