O robots.txt é uma maneira de controlar quais arquivos os rastreadores irá acessar no seu site, ele evita a sobrecarga como solicitação mas não funciona como mecanismo para manter fora do Google