Fichier Robot.txt - Webmaster

Fichier Robot.txt Fichier robots.txt » Articles Url bloqué à cause fichier robots.txt (Résolu) » Forum - Référencement [robots] fichier robots.txt (Résolu) » Forum - Internet / Réseaux sociaux Mon fichier robots.txt (Résolu) » Forum - Référencement Fichier robot.txt dans recherche Google (Résolu) » Forum - Webmaster

Bonjour,

je fais appel à la communauté. J'ai repris le dossier sur le ecommerce après des problèmes de référencement. En fouillant un peu sur GSC j'ai observé la liste de restriction des robot.txt et il y a des choses qui me surprennent. Ils demandent de bloquer les JS et CSS sans même parler du CRON :-s

Pouvez vous me dire si ca vous parait normal selon vous. Pour moi ca me parait un début de piste d'un potentiel problème d'indexation.

hello,

je te remercie pour l'article, super intéressant. Mon agence a refait mon site, mais il y a des choses que je ne comprends pas justement sur ce point.

Lorsque je regarde la liste des robot.txt, il demande de ne pas indexer les CSS et JS (sauf erreur de ma part. Pouvez vous jeter un œil et me dire si ca vous parait normal ?

# Google Image Crawler Setup
User-agent: Googlebot-Image
Disallow:

# Crawlers Setup
User-agent: *


# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
# Disallow: /media/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
# Disallow: /skin/
Disallow: /stats/
Disallow: /var/

# Paths (clean URLs)
Disallow: /admin/
Disallow: */price=/*
Disallow: */dir= /*
Disallow: */order=/*
Disallow: */page/*
Disallow: */limit=/*
Disallow: */catalog/*
Disallow: */catalogsearch/*
Disallow: */customer/*
Disallow: */SID=/*
Disallow: */sort-by/*
Disallow: */checkout/*
Disallow: /index.php/
Disallow: /control/
Disallow: /contacts/
Disallow: */customer/*
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/

# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt

# Paths (no clean URLs)
#Disallow: /*.js$
#Disallow: /*.css$
#Disallow: /*.php$
Disallow: /*?SID=

Forum

Fichier Robot.txt Fichier robots.txt » Articles Url bloqué à cause fichier robots.txt (Résolu) » Forum - Référencement [robots] fichier robots.txt (Résolu) » Forum - Internet / Réseaux sociaux Mon fichier robots.txt (Résolu) » Forum - Référencement Fichier robot.txt dans recherche Google (Résolu) » Forum - Webmaster

Web: www.shapebootstrap.net

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed