Et si on parlait de disallow

[Melkior]

Bonjour à tous,

 

Je suis tombé sur un wordpress qui a du mal à indexer ses pages.

Le fichier /robots.txt est le suivant

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: bingbot
User-agent: Qwantify
User-agent: msnbot
User-agent: Slurp
User-agent: Applebot
User-agent: DuckDuckbot
User-agent: Exabot
Disallow: /wp-admin/
Disallow: /author/
Allow: /wp-admin/admin-ajax.php

 

Ce n'est pas du à son : Disallow: /  ?

Qui est à la 2em ligne ?

 

Bel été à tous.

[SStephane]

Il semblerait bien

 

https://technicalseo.com/seo-tools/robots-txt/ pour t'en convaincre.

 

(Je suis pas hyper familiarisé avec wordpress, mais ça se règle dans l'admin ça non ?)

[Melkior]

Merci pour la réponse  "SStephane"

Mais voici la réponse de ce  webmaster au fichier en question:

 

Salut,

Dans le fichier robots.txt, il faut aussi lire la suite qui concerne les bots des moteurs de recherche.

Normalement, avec cette config, cela autorise tous les robots des moteurs de recherche mais pas les autres robots, donc aucun problème avec l'indexation. En tout cas, c'est ce que disent plusieurs sites / forums du net où j'ai pris la formule. D'ailleurs, certaines pages se sont indexées après que j'ai mis ce fichier. Désolé si ça fausse la perception de ton outil (dont le robot est effectivement interdit sur le site ;))

Patience donc, l'indexation devrait venir...

A+

 

Il a donc tout faux !! ?

 

De mon côté. Je pense que google peut passer dessus sans probème. Cette outil nous dit oui :: https://fr.ryte.com/free-tools/robots-txt/

Avec googlebot

 

Edited July 3, 2018 by Melkior

[Dan]

Perso j'aurais mis ceci à la fin du fichier et non au début :

User-agent: *
Disallow: /

 

 

[SStephane]

Sans vraiment être calé sur la syntaxe du robots.txt, j'ai ce résultat sur un test

 

Url: /
Robots disallowed: All robots

Franchement, tenter de faire une liste (pseudo)exhaustive des robots pour les autoriser est de toutes façons un idée un peu débile (d'autant que personne n'est obligé de respecter le truc). Généralement, j'autorise tout sauf certains répertoires que je ne souhaite pas voir indexer.

PS: rien que pour google il manque des agents... https://support.google.com/webmasters/answer/1061943?hl=fr
PPS : je pense que wordpress est livré avec un robots.txt valable, ou que le premier plugin seo fera le travail correctement.

 

[Melkior]

Merci pour les réponses