Aller au contenu
Melkior

Et si on parlait de disallow

Noter ce sujet :

Recommended Posts

Bonjour à tous,

 

Je suis tombé sur un wordpress qui a du mal à indexer ses pages.

Le fichier /robots.txt est le suivant

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: bingbot
User-agent: Qwantify
User-agent: msnbot
User-agent: Slurp
User-agent: Applebot
User-agent: DuckDuckbot
User-agent: Exabot
Disallow: /wp-admin/
Disallow: /author/
Allow: /wp-admin/admin-ajax.php

 

Ce n'est pas du à son : Disallow: /  ?

Qui est à la 2em ligne ?

 

Bel été à tous.

Partager ce message


Lien à poster
Partager sur d’autres sites

Merci pour la réponse  "SStephane"

Mais voici la réponse de ce  webmaster au fichier en question:

 

Salut,
Dans le fichier robots.txt, il faut aussi lire la suite qui concerne les bots des moteurs de recherche.
Normalement, avec cette config, cela autorise tous les robots des moteurs de recherche mais pas les autres robots, donc aucun problème avec l'indexation. En tout cas, c'est ce que disent plusieurs sites / forums du net où j'ai pris la formule. D'ailleurs, certaines pages se sont indexées après que j'ai mis ce fichier. Désolé si ça fausse la perception de ton outil (dont le robot est effectivement interdit sur le site ;))
Patience donc, l'indexation devrait venir...
A+
 
Il a donc tout faux !! ?
😀

 

De mon côté. Je pense que google peut passer dessus sans probème. Cette outil nous dit oui :: https://fr.ryte.com/free-tools/robots-txt/

Avec googlebot

 

Modifié par Melkior

Partager ce message


Lien à poster
Partager sur d’autres sites

Perso j'aurais mis ceci à la fin du fichier et non au début :

User-agent: *
Disallow: /

 

 

Partager ce message


Lien à poster
Partager sur d’autres sites

Sans vraiment être calé sur la syntaxe du robots.txt, j'ai ce résultat sur un test :)

 

Url: /
Robots disallowed: All robots


Franchement, tenter de faire une liste (pseudo)exhaustive des robots pour les autoriser est de toutes façons un idée un peu débile (d'autant que personne n'est obligé de respecter le truc). Généralement, j'autorise tout sauf certains répertoires que je ne souhaite pas voir indexer.

PS: rien que pour google il manque des agents... https://support.google.com/webmasters/answer/1061943?hl=fr
PPS : je pense que wordpress est livré avec un robots.txt valable, ou que le premier plugin seo fera le travail correctement.

 

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant

×