Gérer le fichier robots.txt
- Aide
- Créer et améliorer vos pages
- Comment se compose une page ?
- Présentation des différents éléments
- Créer une page web avec texte et photo
- Insérer sa propre image d'en-tête de page
- Créer une page Catalogue Produits
- Créer une page de type Blog
- Créer une galerie Photos
- Afficher une carte géographique sur mon site
- Insérer une vidéo dans votre page
- Faire un lien vers une autre page ou vers un site
- Modifier les Balises Meta de votre page
- Installer un favicon sur votre site
- Ajouter de la musique sur son site
- Ajouter un code javascript
- Utiliser l'éditeur de texte
- Supprimer la mise en forme d'un texte
- Ajouter un mot de passe sur son site
- Gérer le fichier robots.txt
- Domaines et emails
- Enregistrer un nouveau nom de domaine
- J'ai déjà un nom de domaine et souhaite le rediriger vers mon site
- Créer ma propre adresse e-mail
- Créer un adresse email de redirection
- Configurer une adresse email sur Outlook 2010
- Configurer une adresse email contact@votre-domaine.com sur votre adresse Gmail
- Référencement et analyses
- Mieux référencer votre site
- Système de notation de votre site pour optimiser son référencement
- Système de notation de vos pages pour optimiser votre référencement
- Analysez les statistiques de votre site
- Fonctionnement du système de statistiques
- Installer Google Analytics
- Envoyer une newsletter
Qu'est-ce qu'un fichier robots.txt ?
Le fichier robots.txt est un fichier texte situé à la racine de votre site contenant des directives destinés à empêcher les robots d’exploration certaines parties ou la globalité de votre site.
Pourquoi certains robots d’explorations sont exclus ?
Par défaut sur Cleasite, tous les robots d'explorations ont l'accès à votre site sauf certains robots d’exploration consommant inutilement les ressources de votre site inutilement. Ces robots sont listés dans les paramètres de votre site > Paramètres avancées. De plus, ces robots d’explorations peuvent fausser les statistiques d'analyse de votre site. C'est pour cela, que par défaut Cleasite préfère les désactiver. Si pour des raisons propres à votre besoin, vous souhaitez leur donner l'accès à votre site, il faut modifier le fichier robots.txt.
Comment modifier le fichier robots.txt ?
A partir de votre compte, cliquez sur Gérer votre site > Paramètres de votre site > Paramètres avancées > Accéder au fichier Robots.txt et cliquer sur Configurer. Cochez les moteurs d'exploration exclus dont vous souhaitez donner l'accès à votre site.