Jump to content

Search the Community

Showing results for tags 'robots.txt'.



More search options

  • Search By Tags

    Type tags separated by commas.
  • Search By Author

Content Type


Forums

  • Accueil
    • Annonces de Webmaster Hub
    • Webmaster Hub se présente
    • Les nouveaux membres se présentent
    • Revues de presse
    • Le salon de Webmaster Hub
    • La tribune de Webmaster Hub
  • Publications et Redirections
    • Référencement et Publicité
    • Droit, Finances et Administration
    • Les techniques de l'Internet
    • Noms de domaines et hébergement
    • La tribune du Hub
  • Création et exploitation de Sites Internet
    • Les langages du Net
    • Les fondations d'un site
    • Accessibilité et Ergonomie Web
    • E-commerce
    • Administration & Droit
    • Systèmes de publication
  • Promotion de Sites Internet
    • Techniques de Référencement
    • Techniques de Promotion
  • Informatique & Internet
    • PC-Gyver
    • Les Navigateurs
  • Les services de Webmaster Hub
    • Infogérance serveurs dédiés
    • Offres et demandes de prestations de service

Blogs

  • Dan's Blog
  • Blog de Webadev
  • Toulouzheing
  • Phoblog
  • boutiques
  • KaRaK
  • Nicolas Blog
  • Americas - Info
  • Spidetra Blog
  • Rat de bibliothèque
  • Une bonne blog... de Bourinho
  • Blog e-Business et Emarketing
  • La piscine
  • Vincent
  • Blog de Georges
  • Dessiner le web
  • Web shopping
  • Toulouse
  • Webmarketing, what else ?
  • SpeedAirMan's blog
  • Le Blog de Dadou
  • illustration et delires graphiques d'un infographiste...
  • paolo
  • CQJD News
  • magie

Find results in...

Find results that contain...


Date Created

  • Start

    End


Last Updated

  • Start

    End


Filter by number of...

Joined

  • Start

    End


Group


Website URL


Skype


Localisation


Société

Found 83 results

  1. bonjour dans ses recommandations, Google préconise de bloquer grâce au robots.txt les publicités présentes sur son site. http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=35769 Quelle est la directive à utiliser pour lui bloquer les publicités Adsense ? d'autre part - et pardon si ma question est idiote - mais il y a des liens d'affiliation sur notre site- cela n'équivaut-il pas à des liens achetés ? comment se fait-il que google ne pénalise pas ces liens là (pure curiosité). Merci comme d'habitude aux professionnels seo de ce forum fbern
  2. Bonjour, Alors ce n'est pas vraiment un langage mais j'ai un soucis sur la création d'un éventuel fichier txt, robot. Pour résumer: J'ai une page qui affiche une vidéo, sur cette même page je propose d'autres vidéos en rapport avec un max de 24, si le nombre est plus grand, j'affiche des numéros de page. Quand le visiteur clique sur un numéro de page, il garde en vue la vidéo mais les propositions changent.(dans l'idéal, il faudrait le faire en ajax mais je suis tout juste entrain d'apprendre et je patine un peu) Ce qui me géne c'est que les pages "pages" ne doivent pas être référencées car ça va créer bien trop de pages avec des descriptions/titre/keywords similaires... Donc j'envisageais de créer un txt robots avec un disallow mais c'est là que ça se complique. Je pratique l'url rewritting avec dans l'url différentes infos genre: type/categorie/video/id_video/page.html... comment je mets mon disallow pour que seulement la dernière partie soit ignorée par les moteurs de recherche et pas les autres. En gros, je veux que type/ soit ref, type/categorie aussi etc... mais que rendu à page.html peu importe le chiffre ça vire. Merci d'avance, Sébastien
  3. Bonjour, je me permets de soumettre le cas suivant (que nous avons publié dans le forum de Google) - pour vous demander vos avis. Pour info ce déclassement est intervenu brutalement entre le 22 et 25 janvier 2012. Y'a t-il eu des modifications algorithmiques connues à cette période ? S'agit-il d'une pénalisation humaine ? Merci d'avance pour vos éclairages. L'un de nos sous-domaines (http://player.qobuz.com - qui héberge un player de musique en ligne qui accompagne notre offre légale de streaming) a subi une chute brutale du trafic organique suite à un déclassement global de nos keywords. Capture d'écran de notre Google Analytics : http://cl.ly/2L0A073b0W0C3d3N0M0y (Pas de problème de tracking, la baisse est confirmée côté logs serveurs) Voici quelques informations en vrac pour essayer de cerner le problème :- notoriété, notamment dans le milieu audiophile : service légal de téléchargement et streaming de musique existant depuis 5 ans, en contrat avec les 4 majors et la majorité des labels indépendants- Aucune modification dans le Player (structure, metatags, robots.txt ou autre) le mois précédent le déclassement- Aucun warning, erreur ou message dans GWT- Le player est principalement codé en HTML5/Javascript pour le frontend, qui appelle une API JSON codée en PHP pour le backend. Nous suivons donc les spécifications de crawling AJAX de Google (http://code.google.c...cification.html) pour être indéxé.Donc par exemple, lors du crawl d'une page album (http://player.qobuz....m/0634904052065), Google va être redirigé vers une page generée en PHP (http://player.qobuz....m/0634904052065 à charger avec javascript désactivé) qui utilise la même API JSON pour récupérer et afficher les mêmes informations que voient les visiteurs qui ont du Javascript.- Par ailleurs ces informations sont affichées en suivant les specifications MicroData (http://schema.org/MusicRecording and http://schema.org/MusicPlaylist) et OpenGraph (http://ogp.me/). Exemple de parsing des richsnippets par Google qui ne montre aucune erreur : http://www.google.co...904052065&view=- Le site est toujours aussi bien crawlé (http://cl.ly/19290Z3z1w0Q192w2i0o) et indexé (http://cl.ly/023E1P0G0P3W30452p1U). Par contre, la plupart des keywords qui donnaient un positionnement en première page sont maintenant passés en 4ème page ou au-delà.- Seul le sous-domaine player.qobuz.com a été impacté, notre site principal (www) n'a subi aucun dégât SEO.
  4. Hello, J'aimerai recueillir vos conseils et avis concernant un projet de création de site en responsive web design, tournant sous PHP/MySQL, et hébergé sur un serveur Apache. Je suis chargé de trouver une stratégie de nom de domaine adaptée mais je poste ici car la principale question est en fait moins d'ordre SEO que technique. Le responsive web design consiste essentiellement à présenter un site unique s'adaptant à toutes les résolutions d'écran ; cette technique semble avoir de beaux jours devant elle, de plus en plus de gens surfant sur des appareils mobiles (smartphones, tablettes...). Par ailleurs, depuis quelques temps, Google crawle le web mobile avec un spider dédié et on a notamment pu remarquer qu'il favorise quelque peu les versions mobiles de site web lorsqu'on l'interroge en situation de mobilité. Ces deux derniers points m'encourage à soumettre le site sous une domaine supplémentaire afin d'assurer une meilleure prise en compte de Google, toutefois, je ne voudrais pas me départir des avantages liés au responsive web design, particulièrement le fait de n'avoir qu'une seule version de site à gérer. J'envisage donc de proposer un seul site, accessible sous deux domaines. Jusque-là, pas de difficultés me direz-vous, mais en fonction du domaine, il me faudrait parfois servir un contenu plutôt qu'un autre. Il est probable que le contenu de mon robots.txt diffère quelque peu, mais aussi que je décide de servir ou non des blocs de contenus (navigation, textes, etc.). En effet, s'agissant d'un site portail, je pense alléger la navigation de la version mobile, voire, parfois présenter des blocs de textes plus courts. Qu'en pensez-vous, techniquement possible, pas possible ? Et si c'est possible, comment s'y prendre ?
  5. Bonjour Je m'apercois qu'un robot cree virtuellement du duplicate en me créant des répertoires à la volée à partir des sites intégrés dans ma base, exemple du style http://www./Arteco /ingienerie,466,5.html mon htacess ErrorDocument 404 http://www..com/ Options +FollowSymlinks RewriteEngine on RewriteRule ^([^,.]*),([0-9]+)(,([0-9]*))*\.html index.php?cat=$2&p=$4 [L] RewriteRule ^([0-9]+)-in*\.html$ gestion/in.php?id=$1 [QSA,L] RewriteRule ^([0-9]+)-in*\.html$ in.php?id=$1 [QSA,L] RewriteRule ^([0-9]+)*\-in.html$ gestion/in.php?id=$1 [QSA,L] RewriteRule ^rss/([^-.]+)-([^-.]+)-([^.]+)\.xml$ rss/index.php?flux=$1&cat=$2&name=$3 [QSA,L] RewriteRule ^([^,.]*)-([0-9]+)*\.html$ p_display.php?id=$2 [QSA,L] RewriteRule ^([^-.]*)-([0-9]+)*\.html$ index.php?cat=$2 [L] mon robots.txt User-agent: * Disallow: /%3F Disallow: /index.php%3F Disallow: /install/ Disallow: /admin_netref/ Disallow: /backoffice/ Disallow: /gestion/ Disallow: /ajoutsite.php?cat= Disallow: /ajoutcat.php?cat= Disallow: /ajoutsite.php?cat=0 Disallow: /ajoutcat.php?cat=0 Disallow: /p_alpha.php Disallow: /p_awards.php Disallow: /p_new.php Disallow: /p_parten.php Disallow: /p_best.php Il est évident que je ne peux pas mettre des interdictions dans mon robots.txt de tous les repertoires crées. Je cherche à interdire ce type de crawl, je n'arrive pas non plus à comprendre par quel chemin passe-t-il ??? Merci si vous avez des solutions n'hesitez pas !
  6. Bonjour à tous, Alors que je faisais un tour sur les google webmaster tools, je me suis rendu compte que les mots clés qui ressortent ne sont pas du tout, mais alors pas du tout ceux qui m'intéressent, du moins pour les premiers de la liste :S Ainsi ces derniers sont : - suite - premier - lire - commenter etc... Ce qui paraît relativement logique étant donné qu'ils sont répétés sur toutes les pages, via les fameux lire la suite, soyez le premier à commenter, ainsi de suite... J'en viens donc à ma question : Est-il possible de bloquer le référencement de certains mots, comme on peut le faire avec certaines url dans le robots.txt ? Ou encore via le .htaccess ou je ne sais quelle méthode.... Merci !
  7. Salut à tous, je voudrais savoir si, sur un site qui n'a pas de page à "cacher" aux moteurs, il est nécessaire de placer un fichier robots.txt ? Si c'est le cas, que doit il comprendre ? être une page vide ? Ou du style : User-agent: * Allow: / Merci
  8. Bonjour, dans quelques minutes je vais passer le fameux examen CESEO, et pour me préparer, j'ai lu ce qu'a publié Philippe Yonnet : donc merci Cariboo ! J'ai de fortes chances d'échouer à cet exam... je n'ai rien d'un développeur et n'y connais pas grand chose ne réseau. Mais je tenais à remercier les personnes qui passent leur vie à écrire des articles intéressants sur le ref. je me suis régalé et j'ai appris des choses au delà de mes idées reçues, par exemple sur les liens, sur les pages cul de sac qui ne transmettent pas de jus parce qu'on les bloque avec un robots.txt
  9. ali

    URL bloquée

    Moi aussi je rencontre le même problème, en allant sur mon compte adsense: diagnostics du site, j'ai trouvé le message suivant : 02 URL bloquées : URL1 : http:/ / webcache. googleusercontent. com/ search? sourceid= navclient&ie= UTF-8&rlz= 1T4GGLL_enUS318US318&q= cache:http%3A%2F%2Fwww. support-pratique. com%2Fpage%2F2%2F Fichier Robots.txt 18 mai 2010 la 2ème message de l'URL bloquée je m'aperçois que daté du 13 mai ne posait pas probléme puisque les annoces adsense ont disparu seulement hier. http:/ / www. support-pratique. com/ pratique/ le-recu-pour-solde-de-tout-compte/ Introuvable 13 mai 2010 Les annonces ont disparu depuis hier, et je n'en connais pas la cause ? Pourriez vous m'aider à résoudre cette lacune et débloquer l'URL en question ? Cordialement
  10. Bonsoir à tous, sous les conseils avisés d'un membre éminent de ce site (captain pour ne pas le citer) je lance un post pour connaître une liste des addons FF qui sont utiles pour le référencement ou d'un point de vue SEO. Venant de passer sous FF depuis 2 jours, je sais que ce genre d'extension existent et peuvent s'avérer fort utiles. J'essayerais donc de tenir ce post à jour, mais je demande à ceux qui donne un addon d'expliquer sommairement quel est son intérêt. Merci à tous et bonne soirée MAJ: grâce au site http://www.guillaumegiraudet.com/19-plugins-extensions-seo-firefox/ donc un grand merci à eux 1. SEO Open La SEO Open toolbar affiche le nombre de page indexées et le nombre de liens entrants (backlinks) pour Google, Yahoo et Bing. Vous pourrez auditer le pagerank de la page, linscription dans lannuaire de Google (DMOZ), connaître le poids de la page, lentête HTTP de la page, visualiser le robots.txt et dintérroger le WHOIS. Gros problème, elle ne fait pas le café. 2. SEO Tools SEO Tools appelé aussi SEO for Firefox est devenue une référence dans le domaine du référencement. A chacune de vos recherches est affichée toute une liste dinformation complémentaires : pagerank, ancienneté du nom de domaine, nombre de backlinks, un accès au WHOIS. Il indique également linscription ou non du site dans les annuaire de Google et de Yahoo. Ajouté à cela, cette extension vous permet daccéder rapidemment à Google Trends, loutil de tendances de recherches de Google, de rechercher des combinaisons de mots-clés et dobtenur des estimations chiffrées de trafic. 3. Customize Google Celle-ci nest que 3ème car elle propose moins de fonctionnalité, mais CustomizeGoogle est une extension très utile. Elle ajoute des informations dans les résultats de recherche de Google et la plus intéressante reste quand même le compteur de position. Ca évite de compter un par un les liens, oui oui, ça se passe comme ça des fois. 4. NoDoFollow Lextension NoDoFollow surligne les liens en bleu (lien en follow, classique) ou en rose (lien en nofollow) selon leur attribut. 5. Firebug Firebug est une extension très utile utilisée par un grand nombre de développeur et de web user car vous, entre autre, afficher le code de la page (html + css) et le modifier. Les modifications sont faites en temps réel, ça évitera bon nombre daller-retour avec le FTP. Bien sur ces modifications sont virtuelles et il suffit dactualiser la page pour retrouver loriginale. 6. Web developer La barre doutil Web developer est très utile pour afficher le nombre de liens dune page, les balises H1, H2, H3 ou bien désactiver le CSS et le javascript. 7. SenSEO Le plugin SenSEO fonctionne avec lextension Firebug présentée ci-dessus. Une note sur 100 vous est donnée selon la pertinence SEO de la page. Bien sur si vous nutilisez pas la balise Keywords, votre score risque de chuter, seul bémol donc. 8. ShowIP ShowIP vous donnera lhôte du site, le nom des serveurs, ladresse IP et lhébergeur. Utile pour laudit dun positionnement multinational. 9. SearchStatus Il affiche, tout comme la SEO Open toolbar les infos sur les pages indexées, le nombre de liens entrants. Lintérêt est son intégration en bas de page, on pourra ainsi éviter dalourdir le chargement de Firefox avec une barre doutil supplémentaire. 10. Rankchecker Rankchecker permet de visualiser la position de son site sur certains requêtes sur Google, Yahoo et Bing. Un outil gratuit assez rapide et facile dutilisation pour connaître rapidement son classement sur un mot-clé particulier. 11. SEO Link Analysis Les liens nont pas de secret pour SEO Link Analysis. Il vous donnera en particulier le pagerank de la page dans les résultats. Utile pour du netlinking. 12. SEO Quake Même fonctionnalités que SEO Open toolbar et SearchStatus. 13. RankQuest SEO toolbar Cette barre affiche des infos intéressantes comme le ratio texte/contenu global de la page et propose des petits outils pour générer des mots-clés et des balises méta. Tout juste installée, à tester donc. 14. SEOHand Affiche la position de votre site sur Google et Yahoo en fonction des mots-clés spécifiés. 15. StomperTools Encore un outil de positionnement qui vous permettra danalyser à laide dun graphique vos positions sur les 3 moteurs, Google, Yahoo et Bing. 16. Split Browser Il affiche le contenu de votre site selon les navigateurs sélectionnés. Utile si lon veut vérifier la mise en forme et la compatibilité de son site sur dautres navigateurs. 17. KGen Installé tout récemment, KGen est une référence pour analyser la densité de mots-clés de vos pages. Il vous donne les mots les plus employés dans vos pages et tout lintérêt réside dans le fait quil donne un poids supplémentaires au mots en gras ou positionné dans un titre. Le calcul est donc plus précis et pertinent. 18. Meta Tags Lextension Meta Tags vous donne comme son nom lindique les balises métas de la page et vous informe entre autre des doublons de mots-clés. 19. PageRank Status Enfin, une énième extension pour relever le pagerank de la page. 20. User Agent Switcher Permet de changer la chaine d'identification User Agent du navigateur et les variables DOM App Name, App Version et Platform. Dans Firefox, un bouton est ajouté pour un accès rapide aux préférences (pour l'activer : Affichage > Barre d'outils > Personnaliser... puis glisser-déposer où vous voulez). 21.Site Information Tool cest un outil presque complet qui, après lavoir installé sur votre navigateur Firefox, un petit logo en forme de bulle de BD saffiche en bas à droite de votre navigateur. Pour analyser une page Web il faut cliquer sur le logo. Une nouvelle page souvre comprenant des informations comme le PageRank, lAlexa Rank, mais aussi des informations sur les liens entrants, des informations sur ladresse IP, le statut http de la page, les balises meta, le WHOIS. Quelques outils en plus sont proposés comme la visualisation du cache de la page indexée dans Google, lhistorique de la page Web (Wayback Machine : http://www.archive.org/web/web.php), lanalyse de densité des mots clés. 22. HTML Tidy HTML Tidy est un utilitaire permettant de vérifier et d'optimiser tout code HTML. 23. Timmy Miner Timmy Miner est une extension Firefox libre qui analyse le contenu textuel des pages web dans le but de créer le corpus de mots-clés les plus représentatifs. Grâce à un puissant moteur de détection de la langue et de comptage des fréquences dexpressions, Timmy Miner effectue un classement de limportance des expressions dans la page. Ces données sont accessibles depuis le panneau latéral de lextension et se mettent à jour au fur et à mesure de la navigation. De plus, il est capable de construire des graphes d'expressions de type thésaurus à partir des expressions du corpus. 24. Lori, pour déterminer les temps de réponse du serveur, et de téléchargement de la page 25. Wappalyzer, pour déterminer rapidement les scripts et CMS utilisés par un site 26. Modify Headers, pour visualiser et modifier les en-têtes HTTP 27. Colorzilla, pour pouvoir utiliser une pipette, et récupérer les codes couleurs sous différents formats 28. UrlParams, pour voir et modifier les paramètres GET et POST passés à une page 29. Xmarks Bookmarks & Password Sync, pour synchroniser les favoris et mots de passe entre différents ordinateurs (boulot / maison, par exemple)
  11. Bonjour, J'ai mis en place un RedirectPermanent dans le htaccess d'un site, seulement ce dernier ne semble pas fonctionner, quelqu'un aurait une idée de la boulette que j'ai faite? # Define Environnement # ============================================================================== SetEnv PHP_VER 5 AddDefaultCharset UTF-8 # Error documents # ============================================================================== ErrorDocument 404 /404.html ErrorDocument 403 /403.html # Mod Rewrite # ============================================================================== RewriteEngine on RedirectPermanent index.php http://www.site.com/ RewriteRule ^favicon.ico$ favicon.ico [QSA,L,E] RewriteRule ^robots.txt$ robots.txt [QSA,L,E] RewriteRule ^(.*)$ index.php?sParams=$1 [QSA,L,E] Merci d'avance
  12. Bonjour, il m'arrive un truc bizarre avec Google. Hier je mets en ligne un site, et l'enregistre sur Google webmasters Tools... Là Google me trouve un robots.txt contenant User-agent: * Disallow: / Donc problème dans la mesure où je souhaite que le site soit indexé et surtout que je n'ai pas (encore) mis de robots.txt. j'ai bien vérifié, ce fichier n'existait pas... Du coup ni une ni deux je mets un robots.txt qui va bien, avec les interdictions qu'il faut sur les repertoires à ne pas indexer... Mais en attendant, Google n'a toujours pas trouvé ce fichier et continue de me renvoyer ce fichier imaginaire... Avez vous déjà rencontré ce problème ? merci d'avance de vos lumières
  13. Bonjour à tous, l'outil google pour les webmaster m'indique deux erreurs sur un site que je gère: Url non suivie(1): erreur liée à des redirections: http://www.cb-bois-chauffage.fr/partenaire...ns-le-rhone.htm je vous la mets pour vous permettre de voir que la redirection (redirectpermanent) que j'ai faite dans mon htaccess fonctionne bien. URL à accès restreint par un fichier robots.txt (1): http://www.cb-bois-chauffage.fr/visiteguid...auffage.htm,URL celle-ci, je l'ai redirigée en permanent dans htaccess car le nom de dossier a changé. cette redir fonctionne. voici mon robot: Sitemap: http://www.cb-bois-chauffage.fr/sitemap.xml User-Agent: * Disallow: /include/ Allow: / celle-ci m'embête d'avantage car cette page va être totalement actualisée sous peu et je ne voudrais pas qu'elle n'existe pas pour notre vieil ami gg. l'outil gg m'indique une mise à jour à hier soir Enfin, j'ai changé totalement le charset de toutes les pages en utf-8, et ggbot le voit toujours en iso8859-15. pourquoi mes modifs ne sont pas prises en compte, à votre avis? problème de délai (9 jours depuis la détection des erreurs) ? ... merci pour vos pistes éventuelles.
  14. Bonjour, je publie sur le site [marseille-sympa.com] des publicités Adsense de Google. Or ils viennent de m'écrire : "Lors de l'examen de la mise en place de vos annonces, nous avons constaté que votre fichier robots.txt empêche actuellement notre robot d'exploration AdSense d'accéder à un nombre important de pages contenant des annonces dans votre compte. Pour diffuser des annonces rémunérées et ciblées sur vos sites, notre robot d'exploration doit accéder aux pages de vos sites afin de déterminer leur contenu. Veuillez mettre à jour votre fichier robots.txt de sorte que le robot d'exploration AdSense puisse accéder à toutes les pages affichant des annonces Google. Pour ce faire, ajoutez le texte suivant dans votre fichier robots.txt : User-agent: Mediapartners-Google* Disallow: Merci de nous aider à diffuser les annonces les plus pertinentes sur vos sites. Notez que, à l'avenir, si nous ne sommes pas en mesure d'explorer certaines de vos pages, nous pourrons être amenés à désactiver la diffusion d'annonces sur ces dernières." ____________________ pour info également, voici un ex de très nombreux blocages diagnostiqués sur l'interface adsense : URL bloquée http:/ / images. google. fr/ imgres? imgurl= http:/ / www. marseille-sympa. com/ rouget. jpg&imgrefurl= http:/ / www. marseille-sympa. com/ rouget. html&usg= __yd8FEK1iAmyz129HforzUNAUVUM= &h= 374&w= 940&sz= 65&hl= fr&start= 1&tbnid= LtHaEiMF2b4PeM:&tbnh= 59&tbnw= 148&prev= / images%3Fq%3Dpoisson%2Brouget%26gbv%3D2%26hl%3Dfr Raison du blocage : Fichier Robots.txt Dernière tentative d'exploration 4 déc. 2008 _________________________ Voici la question posée sur le forum d'aide de l'hébergeur : J'ai créé ce fichier robots.txt et l'ai uploadé sur le site (au même niveau que les fichiers .html) - Est-ce suffisant à votre avis (je n'avais pas auparavant créé de fichiers de ce type) ? - Existe-t-il par défaut sur le serveur sur un niveau supérieur ? Merci de votre attention, cordialement, SR et la réponse : Re: fichier robots.txtBonjour, non il n'y a aucun fichier à la racine de nos serveurs qui empêcherait l'accès aux robots, ce n'est pas la politique d'nfrance _______________________________ Donc, là je sèche... Peut-être avez-vous la solution à ce problème ? par avance, merci, cordialement Sylvain
  15. Bonjour, Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien. Et là depuis environ 2 semaines GG n'indexe plus mon site En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant : J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur. Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log : 74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" 207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org" 38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)" 64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support_AT_blogpulse.com)" 174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots" 67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler_AT_alexa.com)" 209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)" J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre Et depuis cet incident Google a stoppé l'indexation de mon site... Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire... Le fichier robots.txt : http://www.ville-arnieressuriton.com/robots.txt Le fichier sitemap.xml : http://www.ville-arnieressuriton.com/sitemap.xml Merci de votre aide.
  16. Bonsoir, dans mon compte adsense, onglet rapports, rubrique "diagnostic" apparaissent de très nombreuses pages bloquées. La cause du blocage affichée serait la présence de fichiers robots.txt qui bloqueraient l'exploration des robots adsense. Mais je n'ai pas de tel fichier sur mon site... Ci-dessous copie du début du rapport affiché sur l'interface adsense, et devrais-je comprendre que ces fichiers robots.txt sont présents lorsque les pages du site sont affichés avec Google image, ou Msn images par ex ? URL bloquée Raison du blocage [?] Dernière tentative d'exploration http:/ / images. google. hu/ imgres? imgurl= http:/ / www. marseille-sympa. com/ labrax. jpg&imgrefurl= http:/ / www. marseille-sympa. com/ loup. html&h= 354&w= 940&sz= 58&hl= hu&start= 8&um= 1&tbnid= NwYMcj5WRGJAQM:&tbnh= 56&tbnw= 148&prev= / images%3Fq%3DDicentrarchus%2Blabrax%26um%3D1%26hl%3Dhu%26sa%3DN%26as_qdr%3Dall Fichier Robots.txt 15 juil. 2008 http:/ / images. google. ie/ imgres? imgurl= http:/ / www. marseille-sympa. com/ obelisque. jpg&imgrefurl= http:/ / www. marseille-sympa. com/ obelisque. html&h= 450&w= 600&sz= 209&hl= en&start= 1&tbnid= DxxcVokxXvyFhM:&tbnh= 101&tbnw= 135&prev= / images%3Fq%3Dmazargues%26gbv%3D2%26hl%3Den%26sa%3DG Fichier Robots.txt 12 juil. 2008 http:/ / search. hp. my. aol. fr/ aol/ Fichier Robots.txt 12 juil. 2008 imageDetails? invocationType= imageDetails&query= corbeilles+de+fruits&img= http%3A%2F%2Fwww. atelierdufruit. com%2Fdoriane. jpg&site= &host= http%3A%2F%2Fwww. atelierdufruit. com%2Ffruits. html&width= 129&height= 116&thumbUrl= http%3A%2F%2Fimages-partners-tbn. google. com%2Fimages%3Fq%3Dtbn%3A-WY0UfPlcvlNKM%3Awww. atelierdufruit. com%2Fdoriane. jpg&b= image%3FinvocationType%3Dtopsearchbox. image%26query%3Dcorbeilles%2Bde%2Bfruits Fichier Robots.txt 12 juil. 2008 imageDetails? invocationType= imageDetails&query= corbeilles+de+fruits&img= http%3A%2F%2Fwww. atelierdufruit. com%2Femmanuelle. jpg&site= &host= http%3A%2F%2Fwww. atelierdufruit. com%2Ffruits. html&width= 120&height= 122&thumbUrl= http%3A%2F%2Fimages-partners-tbn. google. com%2Fimages%3Fq%3Dtbn%3A2JA4sySTwZoEKM%3Awww. atelierdufruit. com%2Femmanuelle. jpg&b= image%3FinvocationType%3Dtopsearchbox. image%26query%3Dcorbeilles%2Bde%2Bfruits Fichier Robots.txt 12 juil. 2008 imageDetails? invocationType= imageDetails&query= perche&img= http%3A%2F%2Fwww. marseille-sympa. com%2Fperche. jpg&site= &host= http%3A%2F%2Fwww. marseille-sympa. com%2Fperche. html&width= 148&height= 51&thumbUrl= http%3A%2F%2Fimages-partners-tbn. google. com%2Fimages%3Fq%3Dtbn%3Ak0EnCKRqmaGIgM%3Awww. marseille-sympa. com%2Fperche. jpg&b= image%3FinvocationType%3Dtopsearchbox. imagehome%26query%3Dperche Fichier Robots.txt 11 juil. 2008 http:/ / search. msn. fr/ images/ Fichier Robots.txt 16 juil. 2008 results. aspx? q= baliste&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 11 juil. 2008 results. aspx? q= callelongue&go= &form= QBIR Fichier Robots.txt 14 juil. 2008 results. aspx? q= la+mur%C3%A8ne&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 12 juil. 2008 results. aspx? q= le+corse&go= &form= QBIR Fichier Robots.txt 16 juil. 2008 results. aspx? q= les+plus+beau+poissons&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 11 juil. 2008 results. aspx? q= poisson+baliste&FORM= BIRE Fichier Robots.txt 15 juil. 2008 results. aspx? q= poissons+de+mediteranee&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 10 juil. 2008 results. aspx? q= severeau&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 11 juil. 2008 http:/ / www. google. fr/ Fichier Robots.txt 16 juil. 2008 cse? ie= ISO-8859-1&q= PECHER+LA+DORADE&sa= Rechercher Fichier Robots.txt 14 juil. 2008 cse? ie= ISO-8859-1&q= peche+en+mediteranee Fichier Robots.txt 14 juil. 2008 cse? ie= ISO-8859-1&q= poisson+marbre Fichier Robots.txt 12 juil. 2008 cse? ie= ISO-8859-1&q= technique+de+peche+pour+le+sar Fichier Robots.txt 12 juil. 2008 custom? hl= fr&cof= &q= annuaire+des+entreprises+de+demenagement&meta= Fichier Robots.txt 15 juil. 2008 custom? hl= fr&cof= &q= d%C3%A9m%C3%A9nageurs+Lorraine&meta= Fichier Robots.txt 14 juil. 2008 custom? hl= fr&cof= &q= l'oeil+de+sainte+lucie+photo+&meta= Fichier Robots.txt 15 juil. 2008 custom? hl= fr&cof= &q= montage+hame%C3%A7on&start= 90&sa= N Fichier Robots.txt 16 juil. 2008 custom? hl= fr&cof= &q= technique+peche+a+la+pierre+moule&btnG= Rechercher&meta= Fichier Robots.txt 14 juil. 2008 http:/ / www. obrazky. cz/ detail? id= eJyNy8EKgjAAAND7PsRbOpcODYaQEtTFCIk6rrm52YZrs0Z9fRR07/ 5edSNe6SkSbjIEp5FQeuaO%0ApJEnQM6zXSVJCCE21HmutOYL/ zSWxmwyyefFox3%2BcnI2GmAIQZZDsCx%2Bx/ BeURRbxTynjslvUL7a%0A8VqlXDyOrx537bB2rpVNg5i84E04wNP5uhf1/ dyNwxakqAAlZgJnqCyyosxphil6A%2BOVR/ k%3D%0A Fichier Robots.txt 14 juil. 2008
  17. J'ai un souci avec un client : La web agency a déposé des noms de domaines (4) et a collé une page avec une balise H1, 3 mots clés et un lien vers le site principal ! Comment je me débarrasse de ces sites ? Je crains qu'un simple non-renouvellement conduisent à des noms de domaines parqués Je propose de supprimer l'hébergement ? le temps qu'il disparaissent de l'index GG puis on peut les oublier ? Sinon aujourd'hui pour ne pas risquer de soucis avec GG je fais des redirections ? un robots.txt pour empêcher l'indexation ? et en plus ils ont tous déposé sous leur nom, le client n'est propriétaire de rien ! A l'aide !
  18. Bonjour, Un petit nouveau de plus sur le Hub. je connais ce forum depuis longtemps, mais je n'ai jamais eu l'occasion de m'inscrire et de poster, car toutes les réponses à mes questions étaient déjà proposées. Mais aujourd'hui j'ai une question sur les fichier "robots.txt". Ces fichiers qui permettent de ne pas indexer des documents ou des répertoires me posent aujourd'hui problème. En effet, je souhaiterais indexer un répertoire se trouvant dans un répertoire non indexable. explications : Un répertoire nommé "mag" du site contient en lui-même un "minisite" que je ne souhaite pas voir indexé. Cependant, ce répertoire contient un répertoire nommé "media" ou des documents pdf sont produits et je souhaite les indexer. Je recherche une parade sur mon fichier robots.txt afin d'arriver à indexer ce répertoire "media". En l'état, d'après mes connaissances si je précises aux robots de ne pas indexer le répertoire "mag" il n'y aura pas de possibilité d'indexer le répertoire enfant "media". User-agent: * # ici tous les robots Disallow: /mag/ # on interdit l'accès et l'indexation de "mag" Si vous connaissez un paramètre ou une variable pour parvenir à l'indexation du répertoire "media" sans avoir besoin de créer une copie de celui-ci dans un répertoire"indexable" merci de me le faire savoir.
  19. Bonjour, Bon cette fois ci c'est à moi que cela arrive Alors j'aimerais savoir si on peut me donner un coup de main pour comprendre pourquoi toutes les pages de mon site Internet disparaissent de google jour apres jour sauf pour la partie du site qui est en allemand et dans un dossier : TMP_DE Liens : Site : http://www.usinage-precision-sumca.com Google : http://www.google.com/search?q=site%3Awww....ision-sumca.com ==> on y voit maintenant plus que des pages du dossier Allemand /TMP_DE/ Mon fichier HTACCESS : (Aucune redirection globale vers TMP_DE ou autre) Options +FollowSymLinks RewriteEngine on RewriteBase / RewriteRule ^###############################STRING} ErrorDocument 404 http://usinage-precision-sumca.com/erreur-...oupes-sumca.php ErrorDocument 401 http://usinage-precision-sumca.com/erreur-...oupes-sumca.php ErrorDocument 402 http://usinage-precision-sumca.com/erreur-...oupes-sumca.php ErrorDocument 403 http://usinage-precision-sumca.com/erreur-...oupes-sumca.php ErrorDocument 404 http://usinage-precision-sumca.com/erreur-...oupes-sumca.php ErrorDocument 500 http://usinage-precision-sumca.com/erreur-...oupes-sumca.php Je ne dois pas être blacklisté puisque des pages apparaissent en recherche google. Mon fichier robots.txt ne comprend que des interdictions sur les dossiers images et includes donc rien sur la racine... Le langage utilisé est ISO-8859-1 La seule chose que je vois c'est que j'ai oublié de mettre mes titres dans la version Allemande donc dans le dossier DE en allemand et j'ai bêtement laissé les même titres que pour la version francaise... Est ce que google considèrerait ca comme duplicate contente ? Du coup comme j'ai les même noms de pages et titres en DE que en FR devrais je plutot renommer mes titres uniquement pour résoudre le probleme ? ou renommer titre + nom page ? Ou simplement mettre une interdiction d'acces au dossier DE dans robots.txt puisque sous peu la version allemand sera transferée sur un hébergement autre ... Merci à vous. ASC
  20. Bonjour J'ai fait une mise à jour totale de mon site (réorganisation des pages, ajout/suppression de fichiers, nouveaux liens) et sitôt celui-ci en ligne, je me suis empressé de soumettre un nouveau sitemap à Google et d'indiquer un lien vers celui-ci dans mon fichier "robots.txt". Cependant , j'ai pu constater un chute vertigineus (de 50/60visiteurs par jour à 5/8 ) et ce, du fait des moteurs de recherche (surtout Google). Comment faire pour que Google prenne en compte plus rapidement les nouvelles pages et supprime les anciennes de son index (+ de 90 erreurs 404, me dit Google et ce, du aux liens obsolètes qu'il converve). Merci d'avance.
  21. Bonjour, J'ai deux souçis avec les outils webmaster de GG que je ne comprends pas. Les 2 problèmes tournent autour d'un problème d'accès par GG alors que les deux pages sont parfaitement visibles. Y a-t-il un moyen de tester un accès comme le ferait un moteur comme GG et non comme un navigateur ? 1/ Soumission du fichier de vérification J'ai soumis le fichier googlebc012d6d84230114.html auquel j'accède sans problème. Et bien non, GG me dit qu'il n'existe pas !!! 2/ Soumission d'un sitemap J'ai soumis un fichier sitemap: www.webPlongee.com/sitemap.html qui est parfaitement accessible. Dans mon interface j'ai "ERREUR" avec comme explication Ca vous inspire ?
  22. Bonjour, Dans un fichier robots.txt j'ai remarqué des lignes telles que celles-ci : Disallow: /topic Disallow: /topic* A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?
  23. Les pros de la syntaxe du fichier robots.txt peuvent-ils confirmer que la ligne Disallow: /a permet d'empêcher l'indexation d'un répertoire commençant par la lettre "a" ? J'ai trouvé des informations contradictoires à ce sujet. J'ai aussi mis en place un petit test pour vérifier ceci en grandeur nature, mais en attendant le crawl, j'aurais bien aimé avoir vos avis !
  24. Bonjour à tous, J'ai un souci au niveau de référencement pour un site d'une association. J'ai tout fait ce qu'il fallait faire (enfin, je ne vois pas en quoi j'ai oublié) Voici le site en question, vous pourrez consulter le code source qui est plus complet et plus facile à regarder qu'en faisant un copier / coller dans ce forum. Logiquement, vous verrez que j'ai entré tous les balises et nécessaires pour faire marcher le référencement correctement, Google ne reconnaît pas le site et ça fait 4 mois (au minimum)... J'ai crée un script pour le site qui m'envoie régulièrement des rapports erreurs 404, et je recois très souvent genre au minimum 5 par jour chacun qui a pour : J'aimerais bien beaucoup pouvoir compter sur vous pour éclairer ma lanterne... Merci beaucoup pour vos futurs réponses. PS : je suis entièrement à votre dispo si besoin des infos supplémentaire etc...
  25. Bonjour, Voila je voudrais que la description de mon site qu'en on fait une recherche dessus, soit différente, la pour le moment j'ai un truc du style: Aller au contenu | Aller au menu | Aller à la recherche. Bienvenu sur le site... Comment je peut modifier cela, pour que Google donne toujours la même description? dans le robots.txt? Merci d'avance.
×
×
  • Create New...