O robots.txt é um recurso utilizado para basicamente instruir os robôs dos mecanismos de busca como o Googlebot sobre as páginas ou diretórios de um site que NÃO devem ser indexados, isto é, não devem ser listados nos resultados de busca. Por outro lado, é uma forma de qualquer um ver quais as páginas de um site que o webmaster não quer que sejam vistas. É possível às vezes encontrar algumas coisas curiosas, como no robots.txt do google, que pode ser acessado em google.com/robots.txt:
Como o pessoal da Microsoft utiliza o Google :-)
Como buscar informações apenas em sites relacionados à Apple
Página personalizada para buscas sobre Linux
Página personalizada do governo americano
Veja se encontra alguma outra customização que seja a sua cara!
Postagens
0 comments:
Postar um comentário