Aller au contenu

Et si on parlait de disallow


Melkior

Sujets conseillés

Bonjour à tous,

 

Je suis tombé sur un wordpress qui a du mal à indexer ses pages.

Le fichier /robots.txt est le suivant

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: bingbot
User-agent: Qwantify
User-agent: msnbot
User-agent: Slurp
User-agent: Applebot
User-agent: DuckDuckbot
User-agent: Exabot
Disallow: /wp-admin/
Disallow: /author/
Allow: /wp-admin/admin-ajax.php

 

Ce n'est pas du à son : Disallow: /  ?

Qui est à la 2em ligne ?

 

Bel été à tous.

Lien vers le commentaire
Partager sur d’autres sites

Merci pour la réponse  "SStephane"

Mais voici la réponse de ce  webmaster au fichier en question:

 

Salut,
Dans le fichier robots.txt, il faut aussi lire la suite qui concerne les bots des moteurs de recherche.
Normalement, avec cette config, cela autorise tous les robots des moteurs de recherche mais pas les autres robots, donc aucun problème avec l'indexation. En tout cas, c'est ce que disent plusieurs sites / forums du net où j'ai pris la formule. D'ailleurs, certaines pages se sont indexées après que j'ai mis ce fichier. Désolé si ça fausse la perception de ton outil (dont le robot est effectivement interdit sur le site ;))
Patience donc, l'indexation devrait venir...
A+
 
Il a donc tout faux !! ?
?

 

De mon côté. Je pense que google peut passer dessus sans probème. Cette outil nous dit oui :: https://fr.ryte.com/free-tools/robots-txt/

Avec googlebot

 

Modifié par Melkior
Lien vers le commentaire
Partager sur d’autres sites

Sans vraiment être calé sur la syntaxe du robots.txt, j'ai ce résultat sur un test :)

 

Url: /
Robots disallowed: All robots


Franchement, tenter de faire une liste (pseudo)exhaustive des robots pour les autoriser est de toutes façons un idée un peu débile (d'autant que personne n'est obligé de respecter le truc). Généralement, j'autorise tout sauf certains répertoires que je ne souhaite pas voir indexer.

PS: rien que pour google il manque des agents... https://support.google.com/webmasters/answer/1061943?hl=fr
PPS : je pense que wordpress est livré avec un robots.txt valable, ou que le premier plugin seo fera le travail correctement.

 

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...