Aller au contenu

Chercher dans la communauté

Affichage du résultat pour les tags 'robots.txt'.

  • Rechercher par étiquette

    Saisir les étiquettes en les séparant par une virgule.
  • Recherche par auteur

Type du contenu


Forums

  • Accueil
    • Les nouveaux membres se présentent
    • Revues de presse
    • Le salon de Webmaster Hub
    • La tribune de Webmaster Hub
  • Publications et Redirections
    • Référencement et Publicité
    • Droit, Finances et Administration
    • Les techniques de l'Internet
    • Noms de domaines et hébergement
    • La tribune du Hub
  • Création et exploitation de Sites Internet
    • Les langages du Net
    • Les fondations d'un site
    • Accessibilité et Ergonomie Web
    • E-commerce
    • Administration & Droit
    • Systèmes de publication
  • Promotion de Sites Internet
    • Techniques de Référencement
    • Techniques de Promotion
  • Informatique & Internet
    • PC-Gyver
    • Les Navigateurs
  • Les services de Webmaster Hub
    • Infogérance serveurs dédiés
    • Partenariat et échanges de liens
    • Offres et demandes de prestations de service

Rechercher dans...

Chercher ce qui...


Date de création

  • Début

    End


Dernière mise à jour

  • Début

    End


Filtrer par...

Inscrit

  • Début

    End


Groupe


Mon Site


Skype


Localisation


Société

  1. bonjour dans ses recommandations, Google préconise de bloquer grâce au robots.txt les publicités présentes sur son site. http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=35769 Quelle est la directive à utiliser pour lui bloquer les publicités Adsense ? d'autre part - et pardon si ma question est idiote - mais il y a des liens d'affiliation sur notre site- cela n'équivaut-il pas à des liens achetés ? comment se fait-il que google ne pénalise pas ces liens là (pure curiosité). Merci comme d'habitude aux professionnels seo de ce forum fbern
  2. Bonjour, Alors ce n'est pas vraiment un langage mais j'ai un soucis sur la création d'un éventuel fichier txt, robot. Pour résumer: J'ai une page qui affiche une vidéo, sur cette même page je propose d'autres vidéos en rapport avec un max de 24, si le nombre est plus grand, j'affiche des numéros de page. Quand le visiteur clique sur un numéro de page, il garde en vue la vidéo mais les propositions changent.(dans l'idéal, il faudrait le faire en ajax mais je suis tout juste entrain d'apprendre et je patine un peu) Ce qui me géne c'est que les pages "pages" ne doivent pas être référencées car ça va créer bien trop de pages avec des descriptions/titre/keywords similaires... Donc j'envisageais de créer un txt robots avec un disallow mais c'est là que ça se complique. Je pratique l'url rewritting avec dans l'url différentes infos genre: type/categorie/video/id_video/page.html... comment je mets mon disallow pour que seulement la dernière partie soit ignorée par les moteurs de recherche et pas les autres. En gros, je veux que type/ soit ref, type/categorie aussi etc... mais que rendu à page.html peu importe le chiffre ça vire. Merci d'avance, Sébastien
  3. Bonjour, je me permets de soumettre le cas suivant (que nous avons publié dans le forum de Google) - pour vous demander vos avis. Pour info ce déclassement est intervenu brutalement entre le 22 et 25 janvier 2012. Y'a t-il eu des modifications algorithmiques connues à cette période ? S'agit-il d'une pénalisation humaine ? Merci d'avance pour vos éclairages. L'un de nos sous-domaines (http://player.qobuz.com - qui héberge un player de musique en ligne qui accompagne notre offre légale de streaming) a subi une chute brutale du trafic organique suite à un déclassement global de nos keywords. Capture d'écran de notre Google Analytics : http://cl.ly/2L0A073b0W0C3d3N0M0y (Pas de problème de tracking, la baisse est confirmée côté logs serveurs) Voici quelques informations en vrac pour essayer de cerner le problème :- notoriété, notamment dans le milieu audiophile : service légal de téléchargement et streaming de musique existant depuis 5 ans, en contrat avec les 4 majors et la majorité des labels indépendants- Aucune modification dans le Player (structure, metatags, robots.txt ou autre) le mois précédent le déclassement- Aucun warning, erreur ou message dans GWT- Le player est principalement codé en HTML5/Javascript pour le frontend, qui appelle une API JSON codée en PHP pour le backend. Nous suivons donc les spécifications de crawling AJAX de Google (http://code.google.c...cification.html) pour être indéxé.Donc par exemple, lors du crawl d'une page album (http://player.qobuz....m/0634904052065), Google va être redirigé vers une page generée en PHP (http://player.qobuz....m/0634904052065 à charger avec javascript désactivé) qui utilise la même API JSON pour récupérer et afficher les mêmes informations que voient les visiteurs qui ont du Javascript.- Par ailleurs ces informations sont affichées en suivant les specifications MicroData (http://schema.org/MusicRecording and http://schema.org/MusicPlaylist) et OpenGraph (http://ogp.me/). Exemple de parsing des richsnippets par Google qui ne montre aucune erreur : http://www.google.co...904052065&view=- Le site est toujours aussi bien crawlé (http://cl.ly/19290Z3z1w0Q192w2i0o) et indexé (http://cl.ly/023E1P0G0P3W30452p1U). Par contre, la plupart des keywords qui donnaient un positionnement en première page sont maintenant passés en 4ème page ou au-delà.- Seul le sous-domaine player.qobuz.com a été impacté, notre site principal (www) n'a subi aucun dégât SEO.
  4. Hello, J'aimerai recueillir vos conseils et avis concernant un projet de création de site en responsive web design, tournant sous PHP/MySQL, et hébergé sur un serveur Apache. Je suis chargé de trouver une stratégie de nom de domaine adaptée mais je poste ici car la principale question est en fait moins d'ordre SEO que technique. Le responsive web design consiste essentiellement à présenter un site unique s'adaptant à toutes les résolutions d'écran ; cette technique semble avoir de beaux jours devant elle, de plus en plus de gens surfant sur des appareils mobiles (smartphones, tablettes...). Par ailleurs, depuis quelques temps, Google crawle le web mobile avec un spider dédié et on a notamment pu remarquer qu'il favorise quelque peu les versions mobiles de site web lorsqu'on l'interroge en situation de mobilité. Ces deux derniers points m'encourage à soumettre le site sous une domaine supplémentaire afin d'assurer une meilleure prise en compte de Google, toutefois, je ne voudrais pas me départir des avantages liés au responsive web design, particulièrement le fait de n'avoir qu'une seule version de site à gérer. J'envisage donc de proposer un seul site, accessible sous deux domaines. Jusque-là, pas de difficultés me direz-vous, mais en fonction du domaine, il me faudrait parfois servir un contenu plutôt qu'un autre. Il est probable que le contenu de mon robots.txt diffère quelque peu, mais aussi que je décide de servir ou non des blocs de contenus (navigation, textes, etc.). En effet, s'agissant d'un site portail, je pense alléger la navigation de la version mobile, voire, parfois présenter des blocs de textes plus courts. Qu'en pensez-vous, techniquement possible, pas possible ? Et si c'est possible, comment s'y prendre ?
  5. Bonjour Je m'apercois qu'un robot cree virtuellement du duplicate en me créant des répertoires à la volée à partir des sites intégrés dans ma base, exemple du style http://www./Arteco /ingienerie,466,5.html mon htacess ErrorDocument 404 http://www..com/ Options +FollowSymlinks RewriteEngine on RewriteRule ^([^,.]*),([0-9]+)(,([0-9]*))*\.html index.php?cat=$2&p=$4 [L] RewriteRule ^([0-9]+)-in*\.html$ gestion/in.php?id=$1 [QSA,L] RewriteRule ^([0-9]+)-in*\.html$ in.php?id=$1 [QSA,L] RewriteRule ^([0-9]+)*\-in.html$ gestion/in.php?id=$1 [QSA,L] RewriteRule ^rss/([^-.]+)-([^-.]+)-([^.]+)\.xml$ rss/index.php?flux=$1&cat=$2&name=$3 [QSA,L] RewriteRule ^([^,.]*)-([0-9]+)*\.html$ p_display.php?id=$2 [QSA,L] RewriteRule ^([^-.]*)-([0-9]+)*\.html$ index.php?cat=$2 [L] mon robots.txt User-agent: * Disallow: /%3F Disallow: /index.php%3F Disallow: /install/ Disallow: /admin_netref/ Disallow: /backoffice/ Disallow: /gestion/ Disallow: /ajoutsite.php?cat= Disallow: /ajoutcat.php?cat= Disallow: /ajoutsite.php?cat=0 Disallow: /ajoutcat.php?cat=0 Disallow: /p_alpha.php Disallow: /p_awards.php Disallow: /p_new.php Disallow: /p_parten.php Disallow: /p_best.php Il est évident que je ne peux pas mettre des interdictions dans mon robots.txt de tous les repertoires crées. Je cherche à interdire ce type de crawl, je n'arrive pas non plus à comprendre par quel chemin passe-t-il ??? Merci si vous avez des solutions n'hesitez pas !
  6. Bonjour à tous, Alors que je faisais un tour sur les google webmaster tools, je me suis rendu compte que les mots clés qui ressortent ne sont pas du tout, mais alors pas du tout ceux qui m'intéressent, du moins pour les premiers de la liste :S Ainsi ces derniers sont : - suite - premier - lire - commenter etc... Ce qui paraît relativement logique étant donné qu'ils sont répétés sur toutes les pages, via les fameux lire la suite, soyez le premier à commenter, ainsi de suite... J'en viens donc à ma question : Est-il possible de bloquer le référencement de certains mots, comme on peut le faire avec certaines url dans le robots.txt ? Ou encore via le .htaccess ou je ne sais quelle méthode.... Merci !
  7. Salut à tous, je voudrais savoir si, sur un site qui n'a pas de page à "cacher" aux moteurs, il est nécessaire de placer un fichier robots.txt ? Si c'est le cas, que doit il comprendre ? être une page vide ? Ou du style : User-agent: * Allow: / Merci
  8. Bonjour, dans quelques minutes je vais passer le fameux examen CESEO, et pour me préparer, j'ai lu ce qu'a publié Philippe Yonnet : donc merci Cariboo ! J'ai de fortes chances d'échouer à cet exam... je n'ai rien d'un développeur et n'y connais pas grand chose ne réseau. Mais je tenais à remercier les personnes qui passent leur vie à écrire des articles intéressants sur le ref. je me suis régalé et j'ai appris des choses au delà de mes idées reçues, par exemple sur les liens, sur les pages cul de sac qui ne transmettent pas de jus parce qu'on les bloque avec un robots.txt
  9. ali

    URL bloquée

    Moi aussi je rencontre le même problème, en allant sur mon compte adsense: diagnostics du site, j'ai trouvé le message suivant : 02 URL bloquées : URL1 : http:/ / webcache. googleusercontent. com/ search? sourceid= navclient&ie= UTF-8&rlz= 1T4GGLL_enUS318US318&q= cache:http%3A%2F%2Fwww. support-pratique. com%2Fpage%2F2%2F Fichier Robots.txt 18 mai 2010 la 2ème message de l'URL bloquée je m'aperçois que daté du 13 mai ne posait pas probléme puisque les annoces adsense ont disparu seulement hier. http:/ / www. support-pratique. com/ pratique/ le-recu-pour-solde-de-tout-compte/ Introuvable 13 mai 2010 Les annonces ont disparu depuis hier, et je n'en connais pas la cause ? Pourriez vous m'aider à résoudre cette lacune et débloquer l'URL en question ? Cordialement
  10. Bonsoir à tous, sous les conseils avisés d'un membre éminent de ce site (captain pour ne pas le citer) je lance un post pour connaître une liste des addons FF qui sont utiles pour le référencement ou d'un point de vue SEO. Venant de passer sous FF depuis 2 jours, je sais que ce genre d'extension existent et peuvent s'avérer fort utiles. J'essayerais donc de tenir ce post à jour, mais je demande à ceux qui donne un addon d'expliquer sommairement quel est son intérêt. Merci à tous et bonne soirée MAJ: grâce au site http://www.guillaumegiraudet.com/19-plugins-extensions-seo-firefox/ donc un grand merci à eux 1. SEO Open La SEO Open toolbar affiche le nombre de page indexées et le nombre de liens entrants (backlinks) pour Google, Yahoo et Bing. Vous pourrez auditer le pagerank de la page, linscription dans lannuaire de Google (DMOZ), connaître le poids de la page, lentête HTTP de la page, visualiser le robots.txt et dintérroger le WHOIS. Gros problème, elle ne fait pas le café. 2. SEO Tools SEO Tools appelé aussi SEO for Firefox est devenue une référence dans le domaine du référencement. A chacune de vos recherches est affichée toute une liste dinformation complémentaires : pagerank, ancienneté du nom de domaine, nombre de backlinks, un accès au WHOIS. Il indique également linscription ou non du site dans les annuaire de Google et de Yahoo. Ajouté à cela, cette extension vous permet daccéder rapidemment à Google Trends, loutil de tendances de recherches de Google, de rechercher des combinaisons de mots-clés et dobtenur des estimations chiffrées de trafic. 3. Customize Google Celle-ci nest que 3ème car elle propose moins de fonctionnalité, mais CustomizeGoogle est une extension très utile. Elle ajoute des informations dans les résultats de recherche de Google et la plus intéressante reste quand même le compteur de position. Ca évite de compter un par un les liens, oui oui, ça se passe comme ça des fois. 4. NoDoFollow Lextension NoDoFollow surligne les liens en bleu (lien en follow, classique) ou en rose (lien en nofollow) selon leur attribut. 5. Firebug Firebug est une extension très utile utilisée par un grand nombre de développeur et de web user car vous, entre autre, afficher le code de la page (html + css) et le modifier. Les modifications sont faites en temps réel, ça évitera bon nombre daller-retour avec le FTP. Bien sur ces modifications sont virtuelles et il suffit dactualiser la page pour retrouver loriginale. 6. Web developer La barre doutil Web developer est très utile pour afficher le nombre de liens dune page, les balises H1, H2, H3 ou bien désactiver le CSS et le javascript. 7. SenSEO Le plugin SenSEO fonctionne avec lextension Firebug présentée ci-dessus. Une note sur 100 vous est donnée selon la pertinence SEO de la page. Bien sur si vous nutilisez pas la balise Keywords, votre score risque de chuter, seul bémol donc. 8. ShowIP ShowIP vous donnera lhôte du site, le nom des serveurs, ladresse IP et lhébergeur. Utile pour laudit dun positionnement multinational. 9. SearchStatus Il affiche, tout comme la SEO Open toolbar les infos sur les pages indexées, le nombre de liens entrants. Lintérêt est son intégration en bas de page, on pourra ainsi éviter dalourdir le chargement de Firefox avec une barre doutil supplémentaire. 10. Rankchecker Rankchecker permet de visualiser la position de son site sur certains requêtes sur Google, Yahoo et Bing. Un outil gratuit assez rapide et facile dutilisation pour connaître rapidement son classement sur un mot-clé particulier. 11. SEO Link Analysis Les liens nont pas de secret pour SEO Link Analysis. Il vous donnera en particulier le pagerank de la page dans les résultats. Utile pour du netlinking. 12. SEO Quake Même fonctionnalités que SEO Open toolbar et SearchStatus. 13. RankQuest SEO toolbar Cette barre affiche des infos intéressantes comme le ratio texte/contenu global de la page et propose des petits outils pour générer des mots-clés et des balises méta. Tout juste installée, à tester donc. 14. SEOHand Affiche la position de votre site sur Google et Yahoo en fonction des mots-clés spécifiés. 15. StomperTools Encore un outil de positionnement qui vous permettra danalyser à laide dun graphique vos positions sur les 3 moteurs, Google, Yahoo et Bing. 16. Split Browser Il affiche le contenu de votre site selon les navigateurs sélectionnés. Utile si lon veut vérifier la mise en forme et la compatibilité de son site sur dautres navigateurs. 17. KGen Installé tout récemment, KGen est une référence pour analyser la densité de mots-clés de vos pages. Il vous donne les mots les plus employés dans vos pages et tout lintérêt réside dans le fait quil donne un poids supplémentaires au mots en gras ou positionné dans un titre. Le calcul est donc plus précis et pertinent. 18. Meta Tags Lextension Meta Tags vous donne comme son nom lindique les balises métas de la page et vous informe entre autre des doublons de mots-clés. 19. PageRank Status Enfin, une énième extension pour relever le pagerank de la page. 20. User Agent Switcher Permet de changer la chaine d'identification User Agent du navigateur et les variables DOM App Name, App Version et Platform. Dans Firefox, un bouton est ajouté pour un accès rapide aux préférences (pour l'activer : Affichage > Barre d'outils > Personnaliser... puis glisser-déposer où vous voulez). 21.Site Information Tool cest un outil presque complet qui, après lavoir installé sur votre navigateur Firefox, un petit logo en forme de bulle de BD saffiche en bas à droite de votre navigateur. Pour analyser une page Web il faut cliquer sur le logo. Une nouvelle page souvre comprenant des informations comme le PageRank, lAlexa Rank, mais aussi des informations sur les liens entrants, des informations sur ladresse IP, le statut http de la page, les balises meta, le WHOIS. Quelques outils en plus sont proposés comme la visualisation du cache de la page indexée dans Google, lhistorique de la page Web (Wayback Machine : http://www.archive.org/web/web.php), lanalyse de densité des mots clés. 22. HTML Tidy HTML Tidy est un utilitaire permettant de vérifier et d'optimiser tout code HTML. 23. Timmy Miner Timmy Miner est une extension Firefox libre qui analyse le contenu textuel des pages web dans le but de créer le corpus de mots-clés les plus représentatifs. Grâce à un puissant moteur de détection de la langue et de comptage des fréquences dexpressions, Timmy Miner effectue un classement de limportance des expressions dans la page. Ces données sont accessibles depuis le panneau latéral de lextension et se mettent à jour au fur et à mesure de la navigation. De plus, il est capable de construire des graphes d'expressions de type thésaurus à partir des expressions du corpus. 24. Lori, pour déterminer les temps de réponse du serveur, et de téléchargement de la page 25. Wappalyzer, pour déterminer rapidement les scripts et CMS utilisés par un site 26. Modify Headers, pour visualiser et modifier les en-têtes HTTP 27. Colorzilla, pour pouvoir utiliser une pipette, et récupérer les codes couleurs sous différents formats 28. UrlParams, pour voir et modifier les paramètres GET et POST passés à une page 29. Xmarks Bookmarks & Password Sync, pour synchroniser les favoris et mots de passe entre différents ordinateurs (boulot / maison, par exemple)
  11. Bonjour, J'ai mis en place un RedirectPermanent dans le htaccess d'un site, seulement ce dernier ne semble pas fonctionner, quelqu'un aurait une idée de la boulette que j'ai faite? # Define Environnement # ============================================================================== SetEnv PHP_VER 5 AddDefaultCharset UTF-8 # Error documents # ============================================================================== ErrorDocument 404 /404.html ErrorDocument 403 /403.html # Mod Rewrite # ============================================================================== RewriteEngine on RedirectPermanent index.php http://www.site.com/ RewriteRule ^favicon.ico$ favicon.ico [QSA,L,E] RewriteRule ^robots.txt$ robots.txt [QSA,L,E] RewriteRule ^(.*)$ index.php?sParams=$1 [QSA,L,E] Merci d'avance
  12. Bonjour, il m'arrive un truc bizarre avec Google. Hier je mets en ligne un site, et l'enregistre sur Google webmasters Tools... Là Google me trouve un robots.txt contenant User-agent: * Disallow: / Donc problème dans la mesure où je souhaite que le site soit indexé et surtout que je n'ai pas (encore) mis de robots.txt. j'ai bien vérifié, ce fichier n'existait pas... Du coup ni une ni deux je mets un robots.txt qui va bien, avec les interdictions qu'il faut sur les repertoires à ne pas indexer... Mais en attendant, Google n'a toujours pas trouvé ce fichier et continue de me renvoyer ce fichier imaginaire... Avez vous déjà rencontré ce problème ? merci d'avance de vos lumières
  13. Bonjour à tous, l'outil google pour les webmaster m'indique deux erreurs sur un site que je gère: Url non suivie(1): erreur liée à des redirections: http://www.cb-bois-chauffage.fr/partenaire...ns-le-rhone.htm je vous la mets pour vous permettre de voir que la redirection (redirectpermanent) que j'ai faite dans mon htaccess fonctionne bien. URL à accès restreint par un fichier robots.txt (1): http://www.cb-bois-chauffage.fr/visiteguid...auffage.htm,URL celle-ci, je l'ai redirigée en permanent dans htaccess car le nom de dossier a changé. cette redir fonctionne. voici mon robot: Sitemap: http://www.cb-bois-chauffage.fr/sitemap.xml User-Agent: * Disallow: /include/ Allow: / celle-ci m'embête d'avantage car cette page va être totalement actualisée sous peu et je ne voudrais pas qu'elle n'existe pas pour notre vieil ami gg. l'outil gg m'indique une mise à jour à hier soir Enfin, j'ai changé totalement le charset de toutes les pages en utf-8, et ggbot le voit toujours en iso8859-15. pourquoi mes modifs ne sont pas prises en compte, à votre avis? problème de délai (9 jours depuis la détection des erreurs) ? ... merci pour vos pistes éventuelles.
  14. Bonjour, je publie sur le site [marseille-sympa.com] des publicités Adsense de Google. Or ils viennent de m'écrire : "Lors de l'examen de la mise en place de vos annonces, nous avons constaté que votre fichier robots.txt empêche actuellement notre robot d'exploration AdSense d'accéder à un nombre important de pages contenant des annonces dans votre compte. Pour diffuser des annonces rémunérées et ciblées sur vos sites, notre robot d'exploration doit accéder aux pages de vos sites afin de déterminer leur contenu. Veuillez mettre à jour votre fichier robots.txt de sorte que le robot d'exploration AdSense puisse accéder à toutes les pages affichant des annonces Google. Pour ce faire, ajoutez le texte suivant dans votre fichier robots.txt : User-agent: Mediapartners-Google* Disallow: Merci de nous aider à diffuser les annonces les plus pertinentes sur vos sites. Notez que, à l'avenir, si nous ne sommes pas en mesure d'explorer certaines de vos pages, nous pourrons être amenés à désactiver la diffusion d'annonces sur ces dernières." ____________________ pour info également, voici un ex de très nombreux blocages diagnostiqués sur l'interface adsense : URL bloquée http:/ / images. google. fr/ imgres? imgurl= http:/ / www. marseille-sympa. com/ rouget. jpg&imgrefurl= http:/ / www. marseille-sympa. com/ rouget. html&usg= __yd8FEK1iAmyz129HforzUNAUVUM= &h= 374&w= 940&sz= 65&hl= fr&start= 1&tbnid= LtHaEiMF2b4PeM:&tbnh= 59&tbnw= 148&prev= / images%3Fq%3Dpoisson%2Brouget%26gbv%3D2%26hl%3Dfr Raison du blocage : Fichier Robots.txt Dernière tentative d'exploration 4 déc. 2008 _________________________ Voici la question posée sur le forum d'aide de l'hébergeur : J'ai créé ce fichier robots.txt et l'ai uploadé sur le site (au même niveau que les fichiers .html) - Est-ce suffisant à votre avis (je n'avais pas auparavant créé de fichiers de ce type) ? - Existe-t-il par défaut sur le serveur sur un niveau supérieur ? Merci de votre attention, cordialement, SR et la réponse : Re: fichier robots.txtBonjour, non il n'y a aucun fichier à la racine de nos serveurs qui empêcherait l'accès aux robots, ce n'est pas la politique d'nfrance _______________________________ Donc, là je sèche... Peut-être avez-vous la solution à ce problème ? par avance, merci, cordialement Sylvain
  15. Bonjour, Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien. Et là depuis environ 2 semaines GG n'indexe plus mon site En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant : J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur. Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log : 74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" 207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org" 38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)" 64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support_AT_blogpulse.com)" 174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots" 67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler_AT_alexa.com)" 209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)" J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre Et depuis cet incident Google a stoppé l'indexation de mon site... Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire... Le fichier robots.txt : http://www.ville-arnieressuriton.com/robots.txt Le fichier sitemap.xml : http://www.ville-arnieressuriton.com/sitemap.xml Merci de votre aide.
  16. Bonsoir, dans mon compte adsense, onglet rapports, rubrique "diagnostic" apparaissent de très nombreuses pages bloquées. La cause du blocage affichée serait la présence de fichiers robots.txt qui bloqueraient l'exploration des robots adsense. Mais je n'ai pas de tel fichier sur mon site... Ci-dessous copie du début du rapport affiché sur l'interface adsense, et devrais-je comprendre que ces fichiers robots.txt sont présents lorsque les pages du site sont affichés avec Google image, ou Msn images par ex ? URL bloquée Raison du blocage [?] Dernière tentative d'exploration http:/ / images. google. hu/ imgres? imgurl= http:/ / www. marseille-sympa. com/ labrax. jpg&imgrefurl= http:/ / www. marseille-sympa. com/ loup. html&h= 354&w= 940&sz= 58&hl= hu&start= 8&um= 1&tbnid= NwYMcj5WRGJAQM:&tbnh= 56&tbnw= 148&prev= / images%3Fq%3DDicentrarchus%2Blabrax%26um%3D1%26hl%3Dhu%26sa%3DN%26as_qdr%3Dall Fichier Robots.txt 15 juil. 2008 http:/ / images. google. ie/ imgres? imgurl= http:/ / www. marseille-sympa. com/ obelisque. jpg&imgrefurl= http:/ / www. marseille-sympa. com/ obelisque. html&h= 450&w= 600&sz= 209&hl= en&start= 1&tbnid= DxxcVokxXvyFhM:&tbnh= 101&tbnw= 135&prev= / images%3Fq%3Dmazargues%26gbv%3D2%26hl%3Den%26sa%3DG Fichier Robots.txt 12 juil. 2008 http:/ / search. hp. my. aol. fr/ aol/ Fichier Robots.txt 12 juil. 2008 imageDetails? invocationType= imageDetails&query= corbeilles+de+fruits&img= http%3A%2F%2Fwww. atelierdufruit. com%2Fdoriane. jpg&site= &host= http%3A%2F%2Fwww. atelierdufruit. com%2Ffruits. html&width= 129&height= 116&thumbUrl= http%3A%2F%2Fimages-partners-tbn. google. com%2Fimages%3Fq%3Dtbn%3A-WY0UfPlcvlNKM%3Awww. atelierdufruit. com%2Fdoriane. jpg&b= image%3FinvocationType%3Dtopsearchbox. image%26query%3Dcorbeilles%2Bde%2Bfruits Fichier Robots.txt 12 juil. 2008 imageDetails? invocationType= imageDetails&query= corbeilles+de+fruits&img= http%3A%2F%2Fwww. atelierdufruit. com%2Femmanuelle. jpg&site= &host= http%3A%2F%2Fwww. atelierdufruit. com%2Ffruits. html&width= 120&height= 122&thumbUrl= http%3A%2F%2Fimages-partners-tbn. google. com%2Fimages%3Fq%3Dtbn%3A2JA4sySTwZoEKM%3Awww. atelierdufruit. com%2Femmanuelle. jpg&b= image%3FinvocationType%3Dtopsearchbox. image%26query%3Dcorbeilles%2Bde%2Bfruits Fichier Robots.txt 12 juil. 2008 imageDetails? invocationType= imageDetails&query= perche&img= http%3A%2F%2Fwww. marseille-sympa. com%2Fperche. jpg&site= &host= http%3A%2F%2Fwww. marseille-sympa. com%2Fperche. html&width= 148&height= 51&thumbUrl= http%3A%2F%2Fimages-partners-tbn. google. com%2Fimages%3Fq%3Dtbn%3Ak0EnCKRqmaGIgM%3Awww. marseille-sympa. com%2Fperche. jpg&b= image%3FinvocationType%3Dtopsearchbox. imagehome%26query%3Dperche Fichier Robots.txt 11 juil. 2008 http:/ / search. msn. fr/ images/ Fichier Robots.txt 16 juil. 2008 results. aspx? q= baliste&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 11 juil. 2008 results. aspx? q= callelongue&go= &form= QBIR Fichier Robots.txt 14 juil. 2008 results. aspx? q= la+mur%C3%A8ne&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 12 juil. 2008 results. aspx? q= le+corse&go= &form= QBIR Fichier Robots.txt 16 juil. 2008 results. aspx? q= les+plus+beau+poissons&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 11 juil. 2008 results. aspx? q= poisson+baliste&FORM= BIRE Fichier Robots.txt 15 juil. 2008 results. aspx? q= poissons+de+mediteranee&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 10 juil. 2008 results. aspx? q= severeau&FORM= MIZWH9&mkt= fr-fr Fichier Robots.txt 11 juil. 2008 http:/ / www. google. fr/ Fichier Robots.txt 16 juil. 2008 cse? ie= ISO-8859-1&q= PECHER+LA+DORADE&sa= Rechercher Fichier Robots.txt 14 juil. 2008 cse? ie= ISO-8859-1&q= peche+en+mediteranee Fichier Robots.txt 14 juil. 2008 cse? ie= ISO-8859-1&q= poisson+marbre Fichier Robots.txt 12 juil. 2008 cse? ie= ISO-8859-1&q= technique+de+peche+pour+le+sar Fichier Robots.txt 12 juil. 2008 custom? hl= fr&cof= &q= annuaire+des+entreprises+de+demenagement&meta= Fichier Robots.txt 15 juil. 2008 custom? hl= fr&cof= &q= d%C3%A9m%C3%A9nageurs+Lorraine&meta= Fichier Robots.txt 14 juil. 2008 custom? hl= fr&cof= &q= l'oeil+de+sainte+lucie+photo+&meta= Fichier Robots.txt 15 juil. 2008 custom? hl= fr&cof= &q= montage+hame%C3%A7on&start= 90&sa= N Fichier Robots.txt 16 juil. 2008 custom? hl= fr&cof= &q= technique+peche+a+la+pierre+moule&btnG= Rechercher&meta= Fichier Robots.txt 14 juil. 2008 http:/ / www. obrazky. cz/ detail? id= eJyNy8EKgjAAAND7PsRbOpcODYaQEtTFCIk6rrm52YZrs0Z9fRR07/ 5edSNe6SkSbjIEp5FQeuaO%0ApJEnQM6zXSVJCCE21HmutOYL/ zSWxmwyyefFox3%2BcnI2GmAIQZZDsCx%2Bx/ BeURRbxTynjslvUL7a%0A8VqlXDyOrx537bB2rpVNg5i84E04wNP5uhf1/ dyNwxakqAAlZgJnqCyyosxphil6A%2BOVR/ k%3D%0A Fichier Robots.txt 14 juil. 2008
  17. J'ai un souci avec un client : La web agency a déposé des noms de domaines (4) et a collé une page avec une balise H1, 3 mots clés et un lien vers le site principal ! Comment je me débarrasse de ces sites ? Je crains qu'un simple non-renouvellement conduisent à des noms de domaines parqués Je propose de supprimer l'hébergement ? le temps qu'il disparaissent de l'index GG puis on peut les oublier ? Sinon aujourd'hui pour ne pas risquer de soucis avec GG je fais des redirections ? un robots.txt pour empêcher l'indexation ? et en plus ils ont tous déposé sous leur nom, le client n'est propriétaire de rien ! A l'aide !
  18. Bonjour, J'ai deux souçis avec les outils webmaster de GG que je ne comprends pas. Les 2 problèmes tournent autour d'un problème d'accès par GG alors que les deux pages sont parfaitement visibles. Y a-t-il un moyen de tester un accès comme le ferait un moteur comme GG et non comme un navigateur ? 1/ Soumission du fichier de vérification J'ai soumis le fichier googlebc012d6d84230114.html auquel j'accède sans problème. Et bien non, GG me dit qu'il n'existe pas !!! 2/ Soumission d'un sitemap J'ai soumis un fichier sitemap: www.webPlongee.com/sitemap.html qui est parfaitement accessible. Dans mon interface j'ai "ERREUR" avec comme explication Ca vous inspire ?
  19. Bonjour, Dans un fichier robots.txt j'ai remarqué des lignes telles que celles-ci : Disallow: /topic Disallow: /topic* A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?
  20. Les pros de la syntaxe du fichier robots.txt peuvent-ils confirmer que la ligne Disallow: /a permet d'empêcher l'indexation d'un répertoire commençant par la lettre "a" ? J'ai trouvé des informations contradictoires à ce sujet. J'ai aussi mis en place un petit test pour vérifier ceci en grandeur nature, mais en attendant le crawl, j'aurais bien aimé avoir vos avis !
  21. Bonjour, Voila je voudrais que la description de mon site qu'en on fait une recherche dessus, soit différente, la pour le moment j'ai un truc du style: Aller au contenu | Aller au menu | Aller à la recherche. Bienvenu sur le site... Comment je peut modifier cela, pour que Google donne toujours la même description? dans le robots.txt? Merci d'avance.
  22. Bonjour à tous J'ai une petite question... et vous avez très probablement la réponse... Si je place un fichier robots.txt sur la racine de mon hébergement le temps que je termine mon site, une fois que j'aurais terminé les différents tests, est-ce que le robot de chez Google et les autres reviendront si je retire ce fichier .txt ? ou à partir du moment que le moteur est passé et est tombé sur ce fichier... il ne reviendra plus ? Merci à tous, Bonne soirée, Julien
  23. Bonjour à tous. En vérifiant les liens j'obtiens les messages suivants : What to do: The link was not checked due to robots exclusion rules. Check the link manually. Response status code: (N/A) Response message: Forbidden by robots.txt Il s'agit de liens vers google-analytics, googlesyndication. Mon fichier robots.txt (chmod 644) était : User-agent: Mediapartners-Google* Disallow: Je l'ai modifié comme suit : User-Agent: * Disallow: / User-Agent: W3C-checklink Disallow: et les messages que j'obtiens sont les mêmes. Dois-je le modifier ? J'ai obtenu aussi le message ci-dessous pour un lien vers Amazon : The server does not allow HEAD requests. Go ask the guys who run this server why. Check the link manually. Response status code: 405 Response message: MethodNotAllowed ?! Il faut écrire au "guys" de Amazon ?
  24. Bonjour à tous, Je cherche un moyen de bloquer certains spammeurs en utlisant leurs adresses IP , on m'a indiqué d'utilisé un .htaccess comme ceci <Limit GET> order allow,deny deny from 91.186.10.10 allow from all </Limit> Le problème est que le spammeur sévit sur un script qui est placé ici h**p://www.monsite.com/dossier-du-script , et que j'utilise déjà un htaccess pour la réécriture d'url dans ce dossier Ma question est: ce système fonctionne-t-il si je place le htaccess à la racine ? Si la réponse est négative, alors quelqu'un pourait-il m'indiquer si cet exemple vous semble correct : CODE RewriteEngine on RewriteBase / # User-Agents with no privileges (mostly spambots/spybots/offline downloaders that ignore robots.txt) RewriteCond %{REMOTE_ADDR} ^220\.181\.33\.225 [OR] #rude bot RewriteCond %{REMOTE_ADDR} ^60\.28\.252\.77 [OR] #rude bot RewriteCond %{REMOTE_ADDR} ^69\.31\.1\.154 [OR] #rude bot RewriteCond %{REMOTE_ADDR} ^24\.86\.103\.176 [OR] #spammer RewriteCond %{REMOTE_ADDR} ^81\.95\.146\.162 [OR] #spammer RewriteCond %{REMOTE_ADDR} ^193\.252\.177\.186 [OR] #spammer RewriteCond %{REMOTE_ADDR} "^63\.148\.99\.2(2[4-9]|[3-4][0-9]|5[0-5])$" [OR] # Cyveillance spybot RewriteCond %{REMOTE_ADDR} ^12\.148\.196\.(12[8-9]|1[3-9][0-9]|2[0-4][0-9]|25[0-5])$ [OR] # NameProtect spybot RewriteCond %{REMOTE_ADDR} ^12\.148\.209\.(19[2-9]|2[0-4][0-9]|25[0-5])$ [OR] # NameProtect spybot RewriteCond %{REMOTE_ADDR} ^64\.140\.49\.6([6-9])$ [OR] # Turnitin spybot RewriteCond %{HTTP_REFERER} iaea\.org [OR] # spambot RewriteCond %{HTTP_REFERER} neopets\.com [OR] # referrer spam RewriteCond %{HTTP_REFERER} spampoison\.com [OR] # looks exactly like a spambot RewriteCond %{HTTP_REFERER} riaa\.com [OR] # some bot RewriteCond %{HTTP_REFERER} cxa\.de [OR] # porn site RewriteCond %{HTTP_REFERER} filthserver\.com [OR] # porn site RewriteCond %{HTTP_REFERER} wastedpartygirls\.com [OR] # porn site RewriteCond %{HTTP_REFERER} amateurxpass\.com [OR] # porn site RewriteCond %{HTTP_REFERER} mature--young\.com [OR] # porn site RewriteCond %{HTTP_REFERER} bloglisting\.com [OR] # porn site RewriteCond %{HTTP_REFERER} nudecelebblogs\.com [OR] # porn site RewriteCond %{HTTP_REFERER} sexrabbit\.de [OR] # porn site RewriteCond %{HTTP_REFERER} busty2\.com [OR] # porn site RewriteCond %{HTTP_REFERER} adult-models\.biz [OR] # porn site RewriteCond %{HTTP_REFERER} freenudecelebrity\.net [OR] # porn site RewriteCond %{HTTP_REFERER} limolimo\.net [OR] # dont know RewriteCond %{HTTP_REFERER} shatteredreality\.net [OR] # spammer site RewriteCond %{HTTP_USER_AGENT} ^[A-Z]+$ [OR] # spambot RewriteCond %{HTTP_USER_AGENT} anarchie [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} cherry.?picker [NC,OR] # spambot RewriteCond %{HTTP_USER_AGENT} "compatible ; MSIE 6.0" [OR] # spambot (note extra space before semicolon) RewriteCond %{HTTP_USER_AGENT} crescent [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} "^DA \d\.\d+" [OR] # OD RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [OR] # OD RewriteCond %{HTTP_USER_AGENT} "^Download" [OR] # OD RewriteCond %{HTTP_USER_AGENT} EasyDL/\d\.\d+ [OR] # OD RewriteCond %{HTTP_USER_AGENT} e?mail.?(collector|magnet|reaper|siphon| sweeper|harvest|collect|wolf) [NC,OR] # spambot RewriteCond %{HTTP_USER_AGENT} express [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} extractor [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} "Fetch API Request" [OR] # OD RewriteCond %{HTTP_USER_AGENT} flashget [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} FlickBot [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} FrontPage [OR] # stupid user trying to edit my site RewriteCond %{HTTP_USER_AGENT} getright [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} go.?zilla [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} "efp_AT_gmx\.net" [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} grabber [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} imagefetch [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} httrack [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} "Indy Library" [OR] # spambot RewriteCond %{HTTP_USER_AGENT} "^Internet Explore" [OR] # spambot RewriteCond %{HTTP_USER_AGENT} ^IE\ \d\.\d\ Compatible.*Browser$ [OR] # spambot RewriteCond %{HTTP_USER_AGENT} "LINKS ARoMATIZED" [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} "Microsoft URL Control" [OR] # spambot RewriteCond %{HTTP_USER_AGENT} "mister pix" [NC,OR] # rude bot RewriteCond %{HTTP_USER_AGENT} "^Mozilla/4.0$" [OR] # dumb bot RewriteCond %{HTTP_USER_AGENT} "mister pix" [NC,OR] # rude bot RewriteCond %{HTTP_USER_AGENT} "^Mozilla/4.0$" [OR] # dumb bot RewriteCond %{HTTP_USER_AGENT} "^Mozilla/\?\?$" [OR] # formmail attacker RewriteCond %{HTTP_USER_AGENT} MSIECrawler [OR] # IE's "make available offline" mode RewriteCond %{HTTP_USER_AGENT} ^NG [OR] # unknown bot RewriteCond %{HTTP_USER_AGENT} offline [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} net.?(ants|mechanic|spider|vampire|zip) [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} nicerspro [NC,OR] # spambot RewriteCond %{HTTP_USER_AGENT} ninja [NC,OR] # Download Ninja OD RewriteCond %{HTTP_USER_AGENT} NPBot [OR] # NameProtect spybot RewriteCond %{HTTP_USER_AGENT} PersonaPilot [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} snagger [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} Sqworm [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] # rude bot RewriteCond %{HTTP_USER_AGENT} tele(port|soft) [NC,OR] # OD RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR] # Turnitin spybot RewriteCond %{HTTP_USER_AGENT} web.?(auto|bandit|collector|copier|devil|downloader|fetch|hook|mole| miner|mirror|reaper|sauger|sucker|site|snake|stripper|weasel|zip) [NC,OR] # ODs RewriteCond %{HTTP_USER_AGENT} vayala [OR] # dumb bot, doesn't know how to follow links, generates lots of 404s RewriteCond %{HTTP_USER_AGENT} zeus [NC,OR] # Below are filtered requests (mostly virus and other security holes sniffers) RewriteCond %{REQUEST_URI} formmail [NC,OR] RewriteCond %{REQUEST_URI} _vti_bin [NC,OR] RewriteCond %{REQUEST_URI} MSOffice [OR] RewriteCond %{REQUEST_URI} mail.?(pl|cgi) [NC] RewriteRule .* - [F,L] RewriteRule abuse templates/scammers.html RewriteRule ^([a-zA-Z0-9]*).html detail.php?siteid=$1 RewriteRule rally-cars-for-sale.php index.php?catid=1&set_add_ad_cat= RewriteRule race-cars-for-sale.php index.php?catid=3&set_add_ad_cat= RewriteRule trackday-cars-for-sale.php index.php?catid=5&set_add_ad_cat= RewriteRule karts-for-sale.php index.php?catid=7&set_add_ad_cat= RewriteRule trailers-for-sale.php index.php?catid=9&set_add_ad_cat= RewriteRule uk-racing-circuits.php motorsportlocations.php?catid=1 RewriteRule drag-strips.php motorsportlocations.php?catid=4 RewriteRule uk-hillclimbs.php motorsportlocations.php?catid=5 RewriteRule uk-inactive-racing-circuits.php motorsportlocations.php?catid=8 RewriteRule indoor-kart-circuits.php motorsportlocations.php?catid=11 RewriteRule outdoor-kart-circuits.php motorsportlocations.php?catid=12 RewriteRule motor-racing-museums.php motorsportlocations.php?catid=7 RewriteRule oval-racing-circuits.php motorsportlocations.php?catid=3 RewriteRule rally-stages.php motorsportlocations.php?catid=10 RewriteRule speed-venues.php motorsportlocations.php?catid=6 RewriteRule street-circuits.php motorsportlocations.php?catid=2 RewriteRule trackday-airfields.php motorsportlocations.php?catid=9 RewriteRule dadson-kart-challenge.php motorsportlocations.php?seriesid=2 RewriteRule wscc-speed-series-venues.php motorsportlocations.php?seriesid=1 <Files *> order deny,allow #deny from 84.92.125.171 #nigerian spammer deny from 213.185.106.24 deny from 213.185.106 #some dutch scammer deny from 213.181.88.58 deny from 213.181.88 deny from 87.106.29.229 deny from 87.106.29 # Nigerian/African 419 Scammers IP addresses follow: deny from 12.166.96.32/27 41.220.64.0/20 41.223.248.0/22 61.11.230.112/29 62.56.128.0/17 62.56.235. 62.56.236. 62.56.244.0/22 62.56.248. 62.128.160.0/20 62.173.32.0/19 62.192.128.0/19 62.192.140.250 62.193.160.0/19 63.70.178. 63.73.58. 63.100.193. 63.103.138. 63.103.139.64/26 63.103.140.0/22 63.109.245.168/29 63.109.248.128/25 63.122.154. 64.14.48.128/26 64.110.30. 64.110.31. 64.110.64.16/28 64.110.76.0/23 64.110.81. 64.110.93.16/28 64.110.93.176/28 64.110.147. 65.209.91. 65.209.92. 66.18.64.0/19 66.110.31. 66.178.7.16/29 66.178.7.32/28 66.178.46.0/24 66.178.55. 66.178.62. 66.178.80.176/29 66.178.81.64/29 66.199.241.82 66.205.20. 80.87.64.0/19 80.88.128.0/20 80.88.129. 80.88.130. 80.88.131. 80.88.132.0/26 80.88.132.64/27 80.88.132.104/29 80.88.132.128/26 80.88.132.192/27 80.88.132.224/28 80.88.132.240/29 80.88.133.0/25 80.88.134.0/26 80.88.134.64/29 80.88.136. 80.88.137. 80.88.138.0/25 80.88.138.128/26 80.88.138.192/27 80.88.139.0/25 80.88.139.128/26 80.88.139.192/27 80.88.139.224/28 80.88.140. 80.88.141.0/25 80.88.141.128/27 80.88.142. 80.88.143.128/24 80.88.144.0/23 80.88.146. 80.88.147. 80.88.148. 80.88.149.0/25 80.88.149.128/26 80.88.149.192/28 80.88.150. 80.88.151. 80.88.152. 80.88.153. 80.88.154.32/27 80.88.154.72/29 80.88.154.80/29 80.88.154.96/28 80.88.155.0/25 80.88.155.128/27 80.88.155.160/29 deny from 80.78.18.88/29 80.78.18.96/27 80.78.18.128/29 80.179.102.0/24 80.179.107.64/27 80.179.107.224/29 80.179.128.0/17 80.231.4.0/23 80.247.136.0/24 80.247.137.0/24 80.247.141.32/27 80.247.141.64/26 80.247.141.128/25 80.247.142.0/24 80.247.147.16/28 80.247.147.32/29 80.247.147.64/27 80.247.147.96/28 80.247.151.0/24 80.247.153.0/24 80.247.156.0/26 80.247.156.128/28 80.247.157.0/24 80.247.159.0/24 80.248.0.0/20 80.248.64.0/23 80.248.70.0/20 80.248.64.0/20 80.250.32.0/20 80.255.40.48/28 80.255.40.96/29 80.255.40.112/28 80.255.40.128/28 80.255.40.192/28 80.255.40.224/27 80.255.40.240/28 80.255.43. 80.255.46.0/29 80.255.46.16/28 80.255.46.64/29 80.255.59.19 80.255.59.0/24 81.18.32.0/20 81.18.40.0/24 81.18.42.0/24 81.23.194.0/27 81.23.194.64/27 81.23.194.128/25 81.23.195.0/24 81.23.196.0/25 81.23.196.128/29 81.23.200.0/21 81.24.0.0/20 81.91.224.0/20 81.199.0.0/16 81.199.6.0/24 81.199.7.0/24 81.199.72.0/22 81.199.76.0/24 81.199.82.0/23 81.199.84.0/22 81.199.84. 81.199.85. 81.199.86. 81.199.87. 81.199.88. 81.199.89. 81.199.90.0/24 81.199.94.0/23 81.199.108.0/22 81.199.124.0/22 81.199.240.0/21 82.128.0.0/17 83.229.100.0/23 84.254.188.3 84.254.128.0/18 deny from 155.239.0.0/16 192.116.64.0/18 192.116.128.0/18 192.116.152.0/21 193.110.2.0/23 193.189.0.0/18 193.189.64.0/23 193.189.128. 193.219.192.0/18 193.220.0.0/16 193.220.26.0/24 193.220.30.0/26 193.220.30.64/27 193.220.31.0/26 193.220.31.64/27 193.220.45.0/25 193.220.47.0/25 193.220.77.0/26 193.220.187.0/26 193.220.187.128/27 195.8.22. 195.44.168.0/21 195.44.176.0/21 195.137.13. 195.137.14. 195.166.224.0/19 195.166.237.40 195.166. 195.219.176. 195.225.62.0/23 195.245.108.0/23 196.1.176.0/20 196.3.60.0/22 196.3.180.0/22 196.29.208.0/20 196.38.110.0/23 196.45.192.0/18 196.46.240.0/21 196.46.144.0/22 196.200.0.0/20 196.200.64.0/20 196.200.112.0/20 196.201.64.0/19 196.201.64.128/25 196.201.65.0/24 196.202.160.0/19 196.202.224.0/21 196.207.0.0/20 196.207.128.0/18 196.207.192.0/18 196.207.247.0/24 196.220.0.0/19 204.118.170.0/24 209.88.163. 209.101.84. 209.159.164. 209.159.166.0/24 209.198.240.0/23 209.198.242.16/28 209.198.242.96/29 209.198.242.104/30 209.198.242.108/31 209.198.242.128/27 209.198.246.240/28 212.96.2.0/23 212.96.4. 212.96.28. 212.96.29. 212.96.30. 212.100.64.0/19 212.165.128.0/17 212.165.132.64/27 212.165.135. 212.165.140.16/29 212.165.140.64/26 212.165.140.128/25 212.165.141.0/24 212.165.147.0/26 212.165.147.128/26 212.199.108.0/24 212.199.251.0/24 212.247.93.0/24 deny from 213.136.96.0/24 213.136.116.0/24 213.140.62.0/23 213.150.192.0/23 213.166.160.0/19 213.181.64.0/19 213.185.96.0/21 213.185.106.0/24 213.185.112. 213.185.113.0/26 213.185.124. 213.187.135. 213.187.145. 213.211.128.0/18 213.211.188.0/24 213.232.96. 213.255.193. 213.255.195.0/25 213.255.195.128/27 213.255.198. 213.255.199. 216.72.104.0/21 216.74.187.0/24 216.129.147.128/28 216.129.159. 216.133.174. 216.147.132.144/28 216.147.132.160/28 216.236.200.96/28 216.236.202.96/28 216.236.205.0/24 216.236.222.128/26 216.250.195.0/27 216.250.195.64/26 216.250.221.0/24 216.250.222.0/24 216.252.176.0/24 216.252.177.0/24 216.252.231.0/25 216.252.245.0/24 217.10.163.128/26 217.10.163.192/27 217.10.163.224/27 217.10.166.0/26 217.10.166.64/28 217.10.169.0/24 217.10.170.0/24 217.10.171.0/24 217.10.173.0/26 217.10.182.0/27 217.10.184.0/24 217.14.80.0/20 217.15.124.0/25 217.20.241.0/25 217.20.241.128/29 217.20.241.136/29 217.20.241.144/28 217.20.241.160/29 217.20.241.168/29 217.20.241.176/29 217.20.241.184/29 217.20.241.192/29 217.20.241.200/29 217.20.241.208/29 217.20.242.0/24 217.20.243.24/29 217.20.243.32/27 217.78.64.0/20 217.117.0.0/20 217.146.3.144/28 217.146.3.160/28 217.146.3.176/29 217.146.3.224/27 217.146.4.64/26 217.146.5. 217.146.6.0/25 217.146.6.160/27 217.146.7. 217.146.8.0/25 217.146.9. 217.146.10.128/25 217.146.11.0/25 217.146.12. 217.146.13. 217.146.14.0/25 217.146.15.0/25 217.146.16.0/27 217.146.16.32/29 217.194.140.0/22 217.194.144.0/20 217.20.242.0/27 217.20.242.32/28 217.20.242.48/29 # Tentative CIDR block for 16,777,216 AfriNIC assigned IPs #deny from 41.0.0.0/8 # Pan Am Sat Nigeria and South Africa deny from 216.139.160.0/19 216.139.176.136/29 # Added Goldenlines.net.il (Israel) because of Open Proxies used by Nigerian scammers deny from 80.179.244.0/24 # The CIDRs below are Canadian Satellite ISPs that appear to have reassigned these IP blocks to Nigeria deny from 64.86.155.0/24 64.201.33.0/24 216.185.79.0/24 # added this German ISP on 5/1/05, probably reassigned to Nigeria: 62.192.128.0/19 # Added Sky-Vision satellite services for African and Eastern European Internet Cafes deny from 83.229.64.0/18 217.194.144.0/20 # Kenya, Somalia, Zimbabwe, Ghana and some misc Nigerian IPs deny from 196.200.0.0/16 196.201.0.0/16 # Added New Skies Satellite Service (Nigeria + Africa) on Dec 7, 2005: deny from 66.178.0.0/17 deny from 66.178.0.0/17 # Amsterdam, The Netherlands Versatel Nederland DSL-NAT Customers - Lottery and 419 scammers deny from 62.59.36.0/22 62.59.40.0/21 62.59.48.0/22 82.93. 82.168.0.0/14 # Italian Satellite ISP for Nigeria added 04/08/2006 deny from 83.137.61.0/24 # Ironlinkus.com Satellite Services (Africa - used by scammers) - added on 08/08/2006 deny from 216.118.252.0/24 216.118.253.0/24 # End Nigerian/African blocklist # Turkish 419 scammers: deny from 66.199.224.0/19 72.36.168.153/29 85.98.160.0/20 212.174.113.0/24 # Turkey Telecom entire CIDRs: 85.98.128.0/17 212.174.0.0/17 - for future blocking # Added CHINANET Guangdong province network, Beijing, China, on 11/16/05 deny from 219.128.0.0/13 219.136.0.0/15 220.181.0.0/16 # Add other blocked domain names or IP addresses here, starting with "deny from " without quotes # If you find that you need to poke a hole in the blocklist, for legitimate visitors, follow this example: allow from 123.456.789.0 # Add "allow from" IP addresses, or CIDR Ranges, after all of the "deny from" items, just before the closing Files tag. # Everything not included within these deny from ranges is PERMITTED by the allow portion of the directive. </Files> <Files 403.shtml> order allow,deny allow from all </Files> # This prevents web browsers or spiders from seeing your .htaccess directives: <Files .htaccess> deny from all </Files> # End of file
  25. Bonjour à tous ! 1°/ Je me demandais si l'on pouvais ajouter plusieurs script Google Analytics + plusieurs balises méta "Verif-1" sur une même page, dans la mesure du raisonnable bien sûr (disons 3 max...). On aime bien suivre le positionnement des sites de nos clients même si le référencement est confié à une agence tiers...). Avez-vous eu des échos comme quoi cela serait pénalisant ? 2°/ De même, pour G.A. + W.T., une personne m'a soutenu qu'il fallait éviter d'enregistrer plusieurs sites web sous le même profil Google car cela "faciliterait" l'analyse de nos méthodes de référencement par Google (ça me surprend mais bon...). Je dois gérer une 20aine de sites et franchement si je dois créer un mail par client c'est fastidieux et j'apprécie d'avoir une vue d'ensemble de tous les clients sur la même page. Un avis sur la question ? 3°/ On a développé en interne notre propre CMS en php qui génère des pages html statiques via de l'url rewriting. Sur le FTP, j'ai un certains nombre de répertoires mais la quasi totalité me semble sans intérêt pour Google: _css _js admin inc media (images + flash) img (images pour le backoffice) template userimages (images gérer par le client) Faut-il interdire tout ces répertoires ou est-il pertinent d'autoriser l'accès aux répertoires d'images voire CSS ? Et quelle est la méthode la plus efficace (robots.txt avec un no-follow, .htacesss, les deux ) ? Merci d'avance pour vos réponses et bon samedi !!
×
×
  • Créer...