Das Crawl Budget bezeichnet die Ressourcen die Googlebot einer Website widmet — vereinfacht: wie viele Seiten pro Tag gecrawlt werden. Für kleine Websites (unter 1.000 Seiten) ist es selten ein Problem. Bei größeren Websites oder solchen mit vielen URL-Parametern, duplizierten Inhalten oder dünnen Seiten kann ein schlechtes Crawl Budget dazu führen dass wichtige Seiten nicht indexiert werden.
Aus der Praxis
Crawl Budget optimieren bedeutet: unnötige URLs blockieren (robots.txt), Weiterleitungs-Ketten verkürzen, noindex für dünne Seiten setzen und die interne Verlinkung auf wichtige Seiten konzentrieren. Log-File-Analyse zeigt genau welche Seiten Googlebot wirklich crawlt — oft eine ernüchternde Erkenntnis.