Jump to content
Melkior

Et si on parlait de disallow

Rate this topic

Recommended Posts

Bonjour à tous,

 

Je suis tombé sur un wordpress qui a du mal à indexer ses pages.

Le fichier /robots.txt est le suivant

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: bingbot
User-agent: Qwantify
User-agent: msnbot
User-agent: Slurp
User-agent: Applebot
User-agent: DuckDuckbot
User-agent: Exabot
Disallow: /wp-admin/
Disallow: /author/
Allow: /wp-admin/admin-ajax.php

 

Ce n'est pas du à son : Disallow: /  ?

Qui est à la 2em ligne ?

 

Bel été à tous.

Share this post


Link to post
Share on other sites

Merci pour la réponse  "SStephane"

Mais voici la réponse de ce  webmaster au fichier en question:

 

Salut,
Dans le fichier robots.txt, il faut aussi lire la suite qui concerne les bots des moteurs de recherche.
Normalement, avec cette config, cela autorise tous les robots des moteurs de recherche mais pas les autres robots, donc aucun problème avec l'indexation. En tout cas, c'est ce que disent plusieurs sites / forums du net où j'ai pris la formule. D'ailleurs, certaines pages se sont indexées après que j'ai mis ce fichier. Désolé si ça fausse la perception de ton outil (dont le robot est effectivement interdit sur le site ;))
Patience donc, l'indexation devrait venir...
A+
 
Il a donc tout faux !! ?
?

 

De mon côté. Je pense que google peut passer dessus sans probème. Cette outil nous dit oui :: https://fr.ryte.com/free-tools/robots-txt/

Avec googlebot

 

Edited by Melkior

Share this post


Link to post
Share on other sites

Perso j'aurais mis ceci à la fin du fichier et non au début :

User-agent: *
Disallow: /

 

 

Share this post


Link to post
Share on other sites

Sans vraiment être calé sur la syntaxe du robots.txt, j'ai ce résultat sur un test :)

 

Url: /
Robots disallowed: All robots


Franchement, tenter de faire une liste (pseudo)exhaustive des robots pour les autoriser est de toutes façons un idée un peu débile (d'autant que personne n'est obligé de respecter le truc). Généralement, j'autorise tout sauf certains répertoires que je ne souhaite pas voir indexer.

PS: rien que pour google il manque des agents... https://support.google.com/webmasters/answer/1061943?hl=fr
PPS : je pense que wordpress est livré avec un robots.txt valable, ou que le premier plugin seo fera le travail correctement.

 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×
×
  • Create New...