Ak sa motáte okolo webu, tak súbor robots.txt asi dobre poznáte. Ide o textový súbor, ktorý umožňuje správcom webu zakázať, alebo povoliť prístup niektorým botom (vyhľadávačom ako napríklad Google).
Túto metódu pôvodne definoval Martijn Koster v roku 1994. No a počas septembra tohto roku bolo vydané RFC 9309 – Robots Exclusion Protocol, ktoré štandardizuje formát súboru robots.txt. RFC je stále však odporúčanie, nie norma – ak ju dodržíš nemáš problém.
Samozrejme robots.txt neznamená striktný zákaz indexácie z pohľadu nejakej ochrany, bot ho môže ignorovať resp. zariadiť sa podľa seba ak ide o weby s pomerne veľkým množstvom spätných referencií.