Robots

Se puede añadir en el directorio raíz del servidor web un fichero llamado robots.txt para indicar el comportamiento que tienen que tener los buscadores y los programas de descargas sobre el servidor. Con este fichero podemos indicar qué buscadores pueden acceder al servidor y sobre qué directorio actuar. Se supone que todos los programas de descarga deben respetarlo, aunque no siempre es así.

Un ejemplo de fichero robots.txt podría ser:

User-agent: *
Disallow: /admin/
Disallow: /imagenes/
Disallow: /includes/
Disallow: /privado/

con lo cual estaríamos prohibiendo que los buscadores y programas de descarga accedieran a estos directorios.

La configuración del fichero tiene la siguiente sintaxis:

<Campo> ":" <valor>

donde cada línea tiene que terminar en modo Unix, es decir terminada sólo con \n y no con \n\r como terminan las línea de los ficheros dos/win32.

Los campos pueden ser: