Jump to content

Robots.txt un peu compliqué


webytime
 Share

Recommended Posts

Bonjour,

Alors ce n'est pas vraiment un langage mais j'ai un soucis sur la création d'un éventuel fichier txt, robot.

Pour résumer:

J'ai une page qui affiche une vidéo, sur cette même page je propose d'autres vidéos en rapport avec un max de 24, si le nombre est plus grand, j'affiche des numéros de page.

Quand le visiteur clique sur un numéro de page, il garde en vue la vidéo mais les propositions changent.(dans l'idéal, il faudrait le faire en ajax mais je suis tout juste entrain d'apprendre et je patine un peu)

Ce qui me géne c'est que les pages "pages" ne doivent pas être référencées car ça va créer bien trop de pages avec des descriptions/titre/keywords similaires... Donc j'envisageais de créer un txt robots avec un disallow mais c'est là que ça se complique.

Je pratique l'url rewritting avec dans l'url différentes infos genre: type/categorie/video/id_video/page.html... comment je mets mon disallow pour que seulement la dernière partie soit ignorée par les moteurs de recherche et pas les autres. En gros, je veux que type/ soit ref, type/categorie aussi etc... mais que rendu à page.html peu importe le chiffre ça vire.

Merci d'avance,

Sébastien

Link to comment
Share on other sites

merci pour ta réponse, je ne connaissais même pas cette possibilité.

Je suis pas sûr d'avoir tout compris, dans mon cas il faudrait que je mettes le rel="canonical" sur la page où le titre/description est bonne et pas sûr les autres(page 1,2,3...).

Si ça fonctionne ça serait effectivement pas mal sinon mes bouquins d'ajax m'attende ^^

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

  • Similar Content

    • By fbern
      bonjour



      dans ses recommandations, Google préconise de bloquer grâce au robots.txt les publicités présentes sur son site.

      http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=35769



      Quelle est la directive à utiliser pour lui bloquer les publicités Adsense ?



      d'autre part - et pardon si ma question est idiote - mais il y a des liens d'affiliation sur notre site- cela n'équivaut-il pas à des liens achetés ? comment se fait-il que google ne pénalise pas ces liens là (pure curiosité).



      Merci comme d'habitude aux professionnels seo de ce forum



      fbern

    • By Dan
      Webmaster Hub a le plaisir de mettre à disposition de ses membres une nouvelle rubrique Outils à dater de ce jour.

      Cette rubrique est amenée à se développer rapidement mais propose dès sa création quelques outils originaux, à savoir:
      Un visualisateur (ou vérificateur) d'entêtes HTTP permettant l'analyse détaillée des entêtes HTTP d'URLs (pages ou éléments de pages web). Sa particularité la plus intéressante est le suivi des redirections (limité à 8 pour éviter les boucles infinies) . Cet outil sera très utile à tous ceux qui utilisent des redirections ou réécritures d'URLs, en suivant les conseils donnés dans les articles du volet publications du Hub.
      Plus spécifiquement les articles: Le fichier .htaccess
      Mod_rewrite, ou la réécriture des URL "à la volée"
      La réécriture d'URL récursive

      [*]En partenariat avec Yooda, un formulaire de soumission automatique dans les moteurs et les annuaires qui fera gagner un temps considérable et augmentera l'efficacité de votre travail de référencement.
      [*]Toujours chez Yooda, un analyseur et éditeur de fichier robots.txt, qui vous permet d'analyser le fichier robots.txt de votre site, et de l'éditer pour le corriger si nécessaire.

      Si vous voulez être tenu au courant dès la parution des autres outils en développement, n'oubliez pas d'éditer votre profil pour souscrire à la lettre mensuelle d'information du Hub.

      Cordialement,

      Les admins du Hub
    • By Cliquedur
      Bonjour à tous,

      J'ai fait des recherches sur le hub, mais ne pense pas avoir trouvé de réponse correspondant exactement.
      Maintenant, mon cerveau malade me joue souvent des tours sur des évidences

      Voilà : d'un site www.domaine1.com, nous passons à la même version, mais sur un nouveau nom de domaine, www.domaine2.com. Le deuxième adresse devient l'adresse principale à référencer.
      Nous avons le temps de laisser les deux versions en ligne, mais je veux
      - rediriger les visites pour domaine1 vers domaine2
      - transférer le référencement acquis du domaine1 vers le domaine2

      J'ai pensé à la redirection 301, mais Dan ayant signalé que yahoo! n'était pas forcément friand de cette technique, nous pensions laisser les deux versions en ligne, référencer la nouvelle adresse, et faire en sorte que le domaine1 soit désindéxé au profit du 2.
      Maintenant, pas question de laisser deux versions miroirs ... alors quelle est d'après vous la meilleure démarche ?

      Suffirait-il de faire pointer les dns du 1 vers le 2, de mettre une simple redirection ... ? et de placer une redirection 301 sur le 2 (en bloquant l'indexation du domaine1 avec une version alternative du robots.txt ?

      Bref, mon message doit montrer que c'est bien confus dans ma tête

      Bref, je suis un peu perdu

      Merci d'avance pour votre réponse, et bravo pour la qualité du forum.
    • By Cliquedur
      Bonjour,

      Je cherche une réponse concernant le choix de réécriture / redirection à faire dans cas d'un site dont tous (6) les noms de domaines ont été "sauvagement" soumis à Google (entre autres).

      Disons que l'adresse principale est www.domaine-principal.com, et que les 5 autres sont :
      www.domaine-2.fr, www.domaine-3.com, www.domaine-4.com, www.domaine-5.com et www.domaine-6.com.

      Tous les noms de domaine du site pointent vers l'adresse principale, pour un hébergement unique.
      Mais il est nécessaire de faire "le ménage", car google présente le site en faisant une rotation des urls avec des classements anarchiques, chose que je n'ai jamais vue encore. L'idée est que seule l'url principale apparaisse au final dans les résultats, et de ne pas perdre le peu de référencement aquis.

      Quelle serait, d'après-vous, la meilleure méthode par .htaccess : redirection permanente ? Réécriture ?

      Dan, tu m'as parlé de gérer tout cela par le .htaccess et des fichiers robots.txt, c'est bien cela ?

      Merci et à bientôt,
    • By recherche_webmaster
      Bonjour,

      Voilà le problème qui me turlupine :
      Quand j'ai lancé mon site, il a été immédiatement indexé par yahoo, avec toutes ses pages. J'ai dû attendre 2 mois pour google (un lien satellite oublié sur un faux blog, on le supprimant mon site a été déblaklisté).

      Mes premières visites venaient donc de yahoo.
      Depuis j'ai changé l'adresse de toutes mes pages (url Rewriting).
      Un mois après, google a supprimé les anciennes urls et a réindexé les nouvelles.
      Mais yahoo (inktomisearch donc) n'a pas encore tout supprimé de son index et, c'est ce qui m'embête, bloque systématiquement sur le fichier robot txt (je le vois dans les logs).

      yahoo slurp passe des dizaines de fois par jour :

      lj1343.inktomisearch.com www.monsite.com - [25/Sep/2005:00:58:12 +0200] "GET /robots.txt HTTP/1.0" 404...

      COMMENT DONC faire comprendre à ce stupide robot qu'il doit indexer les nouvelles pages ? (j'ai mis un folow all dans le robots txt, ça n'a rien changé, je l'ai enlevé pareil).

      Pour les redirections automatiques je les envoies sur la page d'accueil.

      Idem, le robot de msn ne passe plus.


      Comment dois-je faire selon vous ? (pas de redirection des anciennes urls vers les nouvelles, j'ai déjà essayé).
×
×
  • Create New...