[Grey-Walter] robots.txt y acceso a la información

[Lluis]

On Fri, 14 Nov 2003 01:06:09 +0100
David Gómez i Fontanills <dvd at enlloc.org> wrote:

> Lluís, no te sigo.
> Qué hay que mirar en
> 
> http://www.google.es/unclesam ?
> 
> Y que has mirado google.es/robots?

Bones David,

tienes que mirar google.es/robots.txt

el archivo robots.txt como bien dice JJ es el archivo que sugiere a los 
programas "spiders" de los buscadores que no indexen determinados 
directorios. como a muchos se les habra ocurrido ya, he mirado
el robots.txt de justamente el gran espiador(google) y sorpresa:
Disallow: /unclesam?

pruebo google.es/unclesam

todos sabemos quien es el "tio sam" y mas si vemos la bandera americana ;)
parecia una broma privada pero acabo de leer esto. resulta que es un google 
filtrado que da resultados sobre .gov/.mil

Google, Inc. also offers Google/Unclesam at http://www.google.com/unclesam, a good tool for finding government information, indexing about 4 million pages found at sites that end in .gov or .mil.   This is a comparable size to its main competitor, usgovsearch, with the advantages that Google/Unclesam is free and offers all the useful searching features of regular Google.

buen fin de semana!

-- 
Lluis & Pere Rocallaura
=================================================================
Antaviana		:: http://antaviana.net
Astramat		:: http://astramat.com/c/alife.html
Autonomia Situada	:: http://sindominio.net/autonomiasituada
=================================================================