Jak ve WordPressu upravit robots.txt

Soubor robots.txt slouží k nastavení pravidel pro stahování stránek roboty a nachází se v základní složce webu. U WordPressu jej najdete na stejném místě jako soubor wp-config.php. Pomocí příkazů obsažených v robotst.txt můžete robotům dovolit nebo zakázat stahování obsahu. Mezi nejznámější roboty (anglicky také: bots, spiders), které navštěvují vaší stránku patří roboti vyhledávačů Seznam (Seznambot) a Google (Googlebot). […]