Was ist Googlebot?

Googlebot ist ein Überbegriff, der sich auf zwei Arten von Crawlern (Desktop und Mobil) bezieht. Sowohl Googlebot Desktop als auch Googlebot Smartphone halten sich an ein User-Agent-Token in robots.txt. Das bedeutet, dass es unmöglich ist, gezielt den einen und nicht den anderen anzusprechen.

Googlebot besucht Websites und liest deren Inhalt, um sie dem Suchindex von Google hinzuzufügen. Dieser Index ist es, der die Google-Suchergebnisse antreibt. Daher ist es wichtig für Website-Betreiber sicherzustellen, dass ihre Seiten von Googlebot gefunden und gelesen werden können.

Es gibt viele Möglichkeiten, dies zu tun, aber eine der wichtigsten ist die Verwendung von XML-Sitemaps. XML-Sitemaps sind Dateien, die eine Liste aller Seiten einer Website enthalten und Googlebot helfen, die Seite leichter zu finden und zu durchsuchen.