Gérer le fichier robots.txt

Qu'est-ce qu'un fichier robots.txt ?

Le fichier robots.txt est un fichier texte situé à la racine de votre site contenant des directives destinés à empêcher les robots d’exploration certaines parties ou la globalité de votre site.

Pourquoi certains robots d’explorations sont exclus ?

Par défaut sur Cleasite, tous les robots d'explorations ont l'accès à votre site sauf certains robots d’exploration consommant inutilement les ressources de votre site inutilement. Ces robots sont listés dans les paramètres de votre site > Paramètres avancées. De plus, ces robots d’explorations peuvent fausser les statistiques d'analyse de votre site. C'est pour cela, que par défaut Cleasite préfère les désactiver. Si pour des raisons propres à votre besoin, vous souhaitez leur donner l'accès à votre site, il faut modifier le fichier robots.txt.

Comment modifier le fichier robots.txt ?

A partir de votre compte, cliquez sur Gérer votre site > Paramètres de votre site > Paramètres avancées > Accéder au fichier Robots.txt et cliquer sur Configurer. Cochez les moteurs d'exploration exclus dont vous souhaitez donner l'accès à votre site.
Cleasite respecte votre vie privée - Cleasite utilise des cookies sur ce site : certains cookies sont indispensables car utilisés à des fins de bon fonctionnement et de sécurité ; d'autres sont facultatifs. Les cookies de mesure d'audience permettent de réaliser des statistiques de visites, d'analyser votre navigation. Lire notre Politique de confidentialité En savoir plus
J'accepte
Je refuse