Search the Community
Showing results for tags 'crawl'.
Found 3 results
-
bonjour je dois débrancher une partie d'un catalogue d'albums de musique pendant 2 jours pour raison technique: cela représente environ 350 000 fiches d'albums. Je crois qu'il faut renvoyer une 503 au crawlers pendant cette phase technique. Je me demande si ces 503 ne risquent pas d'affecter les autres fiches (au moins autant) qui réponde elles bien en 200. en gros est ce que le crawler après avoir exploré un certain nombre de 503 ne risque pas de passer son chemin au dépend des pages qui répondent bien ? Merci à tous
-
bonjour on peut renvoyer des 304 à Google, connaissez vous un bon tuto fiable d'implémentation : par ex : comment faire pour que la 304 ne soit renvoyé qu'au robot et pas aux clients, quelles sont les méthodes de détection que l'on peut mette en place pour detecter qu'un contenu n'a pas été modifié. Toutes vos bonnes pistes sont les bienvenues ? Merci
-
bonjour, avez vous déjà généralisé l'envoi aux crawlers des moteurs de recherche un code http 304 pour les contenus qui n'avaient pas été modifiés ? N'y a t-il pas un risque de ne plus être crawlé ? (cela pourrait aussi être une façon de cloaker les moteurs ?) Faut-il assortir le dispositif d'autres mécanismes ? Merci à tous les pros du forum !
