Crawl budget

Crawl budget określa, ile podstron robot odwiedzi w danym czasie. Ma znaczenie głównie w dużych serwisach, gdzie tysiące adresów rywalizują o uwagę robota. Marnują go duplikaty, nieskończone kombinacje filtrów i łańcuchy przekierowań.