O robots.txt é uma maneira de controlar quais arquivos os rastreadores irá acessar no seu site, ele evita a sobrecarga como solicitação mas não funciona como mecanismo para manter fora do Google

Para que serve ?

A função principal é controlar o acesso do rastreador dos buscadores no seu site alguns casos também usamos para bloquear arquivos para não será indexados e reconhecido pelo Google, porém isso depende do tipo de arquivo.

Efeitos do robots.txt em arquivos

Ele tem efeitos diferentes em cada tipo de arquivos, sendo possível alguns não serem rastreados embora não seja a melhor maneira de manter uma página fora da web, a maneira recomendada é usar o noindex ou se for muito necessário proteger colocar senha no servidor do arquivo.

Ele também pode ser usado em arquivos de páginas web ( html, pdf e outros formatos que não seja mídia e são lidas pelo Google ) para gerenciar esse tráfego no seu site pois pode causar sobrecarga no seu servidor, já que o buscador faz uma varredura no seu site para verificar mudanças. Então o recomendado é que você bloquei o acesso em páginas que não tenha necessidade.

Um detalhe muito importante, não use o robots.txt para ocultar sua página das buscas se alguma outra página se referenciar a ela ( com link ) ela ainda pode aparecer nas buscas porém sem descrição e imagem, para bloquear de mostrar recomendo usar senha ou noindex

Use o arquivo de robots.txt para impedir o Google de indexar arquivos de mídia exemplo ( imagem, vídeos, áudio ) porém lembrando que não irá impedir de outros usuários usarem

Existe limitações

Dependendo do que você quer pode ser que outras maneiras sejam a melhor opção como mencionei o noindex, levando em conta que pode ser que outros mecanismos não reconheça o que está solicitando no robots.txt

O Googlebot e outros rastreadores confiável já reconhecem e obedecem o que é proposto no robots.txt mas dependendo do que você precisa é recomendado algo a mais veja estas recomendações da Google

Considerações finais

A intenção foi trazer uma visão geral do robots seus parâmetros são bem simples a serem aplicados, porém lembre-se ele é muito importante para um site mas não resolve todo problema. Veja aqui em uma documentação da Google como criar um robots.txt

Obrigado 😊