Aller au contenu

syntaxe robots.txt


fbern

Sujets conseillés

bonjour, 

2 petites questions en 1 post, non mais Allow quoi.

 

User-agent: Googlebot
Disallow:
et 
User-agent: Googlebot
Allow:
 
donnent la même directive. y'a t-il une syntaxe plus clean que l'autre ?
 
et la deuxième question concerne AdsBot-Google, j'ai l'impression que la déclaration du User-agent: Mediapartners-Google recouvre celle de User-agent:AdsBot-Google ( si celui ci n'a pas de directive contraire)
faut-il tout de m^me le déclarer
 
User-Agent : *
Disallow: /
User-agent: Mediapartners-Google
Disallow:
 
est égal à :
 
User-Agent : *
Disallow: /
User-agent: Mediapartners-Google
Disallow:
User-agent: AdsBot-Google
Disallow:
 
 
merci
 
 
Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

 

Quant à la première question : si vous voulez que Googlebot ait l’accès à tous les fichiers, utilisez :

 

User-agent: Googlebot

Disallow:

 

La directive Allow s’utilise après la directive Disallow pour permettre l’accès à un dossier ou à un fichier qui soit autrement inaccessible en raison de Disallow. Elle ne peut pas rester vide.

 

Quant à la deuxième question : AdsBot-Google et Mediapartners-Google sont deux robots différents. Si vous voulez donc que les deux aient l’accès partout, il faut utiliser :

 

User-Agent : *

Disallow: /

 

User-agent: Mediapartners-Google

Disallow:

 

User-agent: AdsBot-Google

Disallow:


J’espère que ma réponse va vous aider. Voici un article pour plus d’informations sur ce sujet : https://www.becontentking.fr/academie/fichier-robotstxt/

Lien vers le commentaire
Partager sur d’autres sites

  • 1 month later...

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...