Bonjour,
Quant à la première question : si vous voulez que Googlebot ait l’accès à tous les fichiers, utilisez :
User-agent: Googlebot
Disallow:
La directive Allow s’utilise après la directive Disallow pour permettre l’accès à un dossier ou à un fichier qui soit autrement inaccessible en raison de Disallow. Elle ne peut pas rester vide.
Quant à la deuxième question : AdsBot-Google et Mediapartners-Google sont deux robots différents. Si vous voulez donc que les deux aient l’accès partout, il faut utiliser :
User-Agent : *
Disallow: /
User-agent: Mediapartners-Google
Disallow:
User-agent: AdsBot-Google
Disallow:
J’espère que ma réponse va vous aider. Voici un article pour plus d’informations sur ce sujet : https://www.becontentking.fr/academie/fichier-robotstxt/
