Roboti, ktorý prehľadávajú web, indexujú vaše stránky a následne sprístupňujú zindexovaný obsah cez prehľadávače (ako napr. google.com alebo yahoo.com). Použitím súboru robots.txt v koreňovom adresári vášho webu, môžete zadefinovať adresáre, ktoré si neprajete aby boli zindexované. Napr., ak do súboru