Le fichier robot.txt déposé dans le répertoire racine de votre site internet permet d'indiquer aux moteurs de recherche les pages à indexer et les pages à ne pas indexer.
Par exemple, il est interessant d'indexer son blog ainsi que les nouveaux articles qu'on publie. En revanche, il n'est pas nécessaire d'indexer les parties privatives du site notamment l'adminsitration, ni certains dossiers contenant des fichiers "sensibles".
Cet outil vous premettra en quelques clics à générer un fichier robot.txt qui répond à vos besoins.
