O Que é um Arquivo Robots.txt?

Os arquivos robot.txt não são estritamente necessários. Sem eles, um spider simplesmente rastreará o site com base em suas orientações padrão. No entanto, a maioria dos sites pode se beneficiar da inclusão de um arquivo robot.txt para ajudar a guiar os rastreadores.

Um arquivo robot.txt pode ser usado para incentivar ou desencorajar o rastreamento de determinadas páginas. Por exemplo, se um site possui uma área provisória privada que está bloqueada para ser indexada, você não gostaria que esta página aparecesse nos resultados de busca. Arquivos robot.txt também podem ser usados para garantir que determinadas páginas sejam rastreadas, ou para ocultar páginas mal otimizadas e evitar que sejam classificadas.