Gérer le fichier robots.txt

Le fichier robots.txt est un fichier texte situé à la racine de votre site contenant des directives destinés à empêcher les robots d’exploration certaines parties ou la globalité de votre site.

Par défaut sur Cleasite, tous les robots d'explorations ont l'accès à votre site sauf certains robots d’exploration consommant inutilement les ressources de votre site inutilement. Ces robots sont listés dans les paramètres de votre site > Robots.txt. De plus, ces robots d’explorations peuvent fausser les statistiques d'analyse de votre site. C'est pour cela, que par défaut Cleasite préfère les désactiver. Si pour des raisons propres à votre besoin, vous souhaitez leur donner l'accès à votre site, il faut modifier le fichier robots.txt.

A partir de votre compte, cliquez sur Gérer votre site > Paramètres de votre site > Robots.txt et cochez les moteurs d'exploration exclus dont vous souhaitez donner l'accès à votre site.