
robots.txt je už v RFC
Ak sa motáte okolo webu, tak súbor robots.txt asi dobre poznáte. Ide o textový súbor, ktorý umožňuje správcom webu zakázať, alebo povoliť prístup niektorým botom (vyhľadávačom ako napríklad Google). Túto metódu pôvodne definoval Martijn Koster v roku 1994. No a počas...