Qu’est-ce qu’un fichier Robots.txt ?

Les fichiers robot.txt ne sont pas strictement nécessaires. Sans eux, un robot d’indexation parcourra simplement le site selon ses instructions par défaut. Cependant, la plupart des sites peuvent bénéficier de l’inclusion d’un fichier robot.txt afin d’aider à guider les robots d’indexation.

Un fichier robot.txt peut être utilisé pour encourager ou dissuader l’exploration de certaines pages. Par exemple, si un site web possède une zone de préproduction privée qui est bloquée pour ne pas être indexée, tu ne voudrais pas que cette page apparaisse dans les résultats de recherche. Les fichiers robot.txt peuvent également être utilisés pour s’assurer que certaines pages soient explorées, ou pour masquer des pages mal optimisées afin qu’elles ne soient pas classées.