[Py-ES] Problema de configuración en el servidor de la PyConES: robots.txt y páginas inexistentes

[Jesus Cea]

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

On 09/04/13 01:22, Juan Luis Cano wrote:
> On 04/08/2013 08:32 PM, Yamila Moreno Suárez wrote:
>> Gracias Jesús por estar al tanto.
> 
> He abierto una incidencia en Github, tengo pendiente todavía lo de 
> las métricas pero tal vez esto sea más importante. ¿Cuál debe ser 
> el contenido del robots.txt?

Idealmente, debería dar un error "404" de fichero inexistente.

Si eso no es posible, toca "suicidar" a alguien por manazas :-) y
meter un fichero vacío (cero bytes). Esta segunda opción no es una
solución, es un "apaño" chapucero. Pedir a un servidor una URL
inexistente no debe hacer que el servidor falle, debe dar el error
documentado de página existente. Dar un error de servidor tiene
consecuencias imprevisibles, como abortar crawlers, etc.

Pero mejor "apaño chapucero" que nada. Ahora mismo Google simplemente
nos ignora. No se atreve a indexar nada por miedo a indexar algo
prohibido por un fichero "robots.txt" que nos negamos (mediante fallo
de servidor) a entregarle o a decirle que no existe.

Y supongo que Google no será el único.

- -- 
Jesús Cea Avión                         _/_/      _/_/_/        _/_/_/
jcea at jcea.es - http://www.jcea.es/     _/_/    _/_/  _/_/    _/_/  _/_/
Twitter: @jcea                        _/_/    _/_/          _/_/_/_/_/
jabber / xmpp:jcea at jabber.org  _/_/  _/_/    _/_/          _/_/  _/_/
"Things are not so easy"      _/_/  _/_/    _/_/  _/_/    _/_/  _/_/
"My name is Dump, Core Dump"   _/_/_/        _/_/_/      _/_/  _/_/
"El amor es poner tu felicidad en la felicidad de otro" - Leibniz
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.10 (GNU/Linux)
Comment: Using GnuPG with Thunderbird - http://www.enigmail.net/

iQCVAwUBUWNmfZlgi5GaxT1NAQJZnQP/UANtFUfj0xOHhnUagpVlvaa8yuqGZoni
VvNabsQE6Q+jglIMNJIH2QbAjtFqnokB31G9vvVVZBDpMSjyJWUQcKK6L3oXenB3
U50ZYXZeE3WWhyLgMK/BCcWTJwgI306pJ7GFW5ghC90QkbXJGE+EvQZqXRTwwdwU
3UALU9FbLTw=
=m3Wp
-----END PGP SIGNATURE-----