robots.txt e o google by microsoft...
16 de fevereiro de 2008
O robots.txt é um recurso utilizado para basicamente instruir os robôs dos mecanismos de busca como o Googlebot sobre as páginas ou diretórios de um site que NÃO devem ser indexados, isto é, não devem ser listados nos resultados de busca. Por outro lado, é uma forma de qualquer um ver quais as páginas de um site que o webmaster não quer que sejam vistas. É possível às vezes encontrar algumas coisas curiosas, como no robots.txt do google, que pode ser acessado em google.com/robots.txt:
Como o pessoal da Microsoft utiliza o Google :-)
Como buscar informações apenas em sites relacionados à Apple
Página personalizada para buscas sobre Linux
Página personalizada do governo americano
Veja se encontra alguma outra customização que seja a sua cara!
Escrito por
Schultze
Enviar por e-mail
Postar no blog!
Compartilhar no Twitter
Compartilhar no Facebook
Assinar:
Postar comentários (Atom)
0 comments:
Postar um comentário