Re: [Grey-Walter] robots.txt y acceso a la información

[David Gómez i Fontanills]

Ok, ya lo entiendo. Gracias.
He mirado en google.es/robots.txt y no me parece nada raro. En realidad 
sugieren que los robots no miren todas las páginas que son buscadores 
(generalistas o específicos). Si lo hicieran se retroalimentarian 
inutilmente en una especie de bucle, no?

Están ahí el "search" (google por defecto), el "images", el "groups", etc...

Pues el disallow: unclesam? no parece ser nada del otro mundo. 
Simplemente una cuestión "tecnica", como el resto.

No?

dvd

Lluis wrote:

>On Fri, 14 Nov 2003 01:06:09 +0100
>David Gómez i Fontanills <dvd at enlloc.org> wrote:
>
>  
>
>>Lluís, no te sigo.
>>Qué hay que mirar en
>>
>>http://www.google.es/unclesam ?
>>
>>Y que has mirado google.es/robots?
>>    
>>
>
>Bones David,
>
>tienes que mirar google.es/robots.txt
>
>el archivo robots.txt como bien dice JJ es el archivo que sugiere a los 
>programas "spiders" de los buscadores que no indexen determinados 
>directorios. como a muchos se les habra ocurrido ya, he mirado
>el robots.txt de justamente el gran espiador(google) y sorpresa:
>Disallow: /unclesam?
>
>pruebo google.es/unclesam
>
>todos sabemos quien es el "tio sam" y mas si vemos la bandera americana ;)
>parecia una broma privada pero acabo de leer esto. resulta que es un google 
>filtrado que da resultados sobre .gov/.mil
>
>Google, Inc. also offers Google/Unclesam at http://www.google.com/unclesam, a good tool for finding government information, indexing about 4 million pages found at sites that end in .gov or .mil.   This is a comparable size to its main competitor, usgovsearch, with the advantages that Google/Unclesam is free and offers all the useful searching features of regular Google.
>
>buen fin de semana!
>
>  
>