Robots.txt aneb jak se vypořádat s těmi zlými a usměrnit ty hodné

Ačkoliv je internet doménou lidí, tak se na něm pohybuje stále větší a větší množství robotů. Ti navštěvují Vaše stránky především kvůli indexování obsahu, analyzování odkazů, případně třeba spamování. Soubor robot.txt vám tyto živly alespoň částečně umožní usměrnit.