Robots.txt steruje ruchem robotów, ale nie jest narzędziem do usuwania stron z indeksu. Adres zablokowany w tym pliku może nadal pojawić się w wynikach, jeśli prowadzą do niego odnośniki. Do wykluczenia z indeksu służy znacznik noindex.
Robots.txt steruje ruchem robotów, ale nie jest narzędziem do usuwania stron z indeksu. Adres zablokowany w tym pliku może nadal pojawić się w wynikach, jeśli prowadzą do niego odnośniki. Do wykluczenia z indeksu służy znacznik noindex.