Cómo comprobar si un sitio tiene robots.txt
Cómo comprobar si un sitio web tiene un archivo robots.txt
Un archivo robots.txt es un pequeño archivo de texto que indica a los bots que deciden seguirlas qué páginas pueden rastrear. Consultarlo puede ayudarte a entender qué rutas pide un sitio que ciertos rastreadores visiten o eviten. No revela todas las configuraciones del sitio ni constituye una barrera de seguridad.
Si quieres saber cómo comprobar si un sitio web tiene un archivo robots.txt, empieza por identificar el origen exacto del sitio y, después, revisa la respuesta del servidor y el contenido del archivo. Estos detalles importan: un archivo de un subdominio puede no tener nada que ver con otro, y un error del navegador no siempre significa que el archivo no exista.
1. Comprende qué puede y qué no puede decirte robots.txt
Robots.txt contiene reglas para los rastreadores automatizados. Una regla puede pedir a un bot de búsqueda que respete las instrucciones que no rastree una ruta como /private/. Es una petición, no un mecanismo de control de acceso: una persona aún podría abrir esa URL y un bot podría ignorar la solicitud.
Tampoco garantiza que una página bloqueada quede fuera de los resultados de búsqueda. Un motor de búsqueda podría descubrir una URL a través de enlaces externos y mostrarla sin rastrear su contenido. Si una página debe permanecer privada, usa un control de acceso real, como la autenticación, en lugar de confiar en robots.txt.
Piensa en el archivo como un conjunto público de indicaciones. Si te preguntas qué significa el archivo robots.txt, recuerda que puede ayudar a explicar el comportamiento de rastreo, pero no confirma que una página sea accesible, privada o esté indexada. Comprueba esos aspectos por separado.
2. Busca el archivo robots.txt del sitio en el origen correcto
Para un sitio en https://example.com, la ubicación habitual es https://example.com/robots.txt. Si buscas cómo encontrar el archivo robots.txt de una web, conserva el protocolo y el nombre de host que aparecen en la barra de direcciones e incluye el puerto si no es el predeterminado y el sitio utiliza uno. La ruta está en la raíz de ese origen, no dentro de una carpeta como /blog/.
Los cambios de protocolo y de nombre de host pueden dar resultados distintos. Por ejemplo, http://example.com/robots.txt и https://example.com/robots.txt son solicitudes distintas, aunque una redirija a la otra. Del mismo modo, www.example.com и example.com pueden estar configurados por separado.
Los subdominios tienen sus propios orígenes. Un archivo en https://shop.example.com/robots.txt no se aplica automáticamente a https://example.com/ o https://help.example.com/. Comprueba el host que te interesa, sobre todo si una empresa tiene la tienda, el área de soporte y el sitio principal en subdominios distintos.
Para una primera comprobación, usa la barra de direcciones: introduce la URL completa de robots.txt y revisa qué se carga. Es habitual ver una página de texto sin formato, aunque también sirve una vista del navegador con formato. Lo importante es qué URL has solicitado y qué ha devuelto el servidor.
3. Comprueba la respuesta, no solo la página del navegador
Una respuesta correcta suele indicar que el servidor ha devuelto contenido para esa URL. Muchos sitios devuelven un estado HTTP como 200, aunque el texto visible podría ser un conjunto de reglas, un archivo vacío o incluso una página inesperada. Revisa el contenido junto con el código de estado; no des por hecho que cualquier página que se cargue confirma que se trata de un archivo robots.txt válido.
Una respuesta de página no encontrada, normalmente 404, indica que la ruta solicitada no existe en ese origen en ese momento. Es un dato útil, pero primero comprueba el nombre de host y las redirecciones. Un error tipográfico o un subdominio distinto pueden producir el mismo resultado.
Conviene prestar atención a las redirecciones. La URL solicitada puede llevarte a otro host o a otra ruta, y el destino podría devolver contenido que pertenece a un origen distinto. Anota tanto la URL original como el destino final antes de decidir qué instrucciones del sitio has leído.
Los errores de acceso y los fallos del servidor no son lo mismo que la ausencia del archivo. Una respuesta como 403 puede significar que el servidor ha rechazado la solicitud; una respuesta 5xx puede indicar un problema temporal del servidor. Un tiempo de espera agotado o un error de conexión del navegador también pueden impedir la comprobación. Vuelve a intentarlo más tarde o usa un segundo método antes de sacar una conclusión definitiva.
Para una tarea de auditoría relacionada, también puedes leer cómo comprobar si un sitio web publica una declaración de afiliación; esa comprobación se refiere a una política visible, no a las instrucciones para rastreadores.
4. Comprueba las directivas de robots.txt para el rastreador que te interesa
Para comprobar las directivas de robots.txt, lee cada grupo de reglas en su contexto. Una línea User-agent identifica un rastreador, mientras que las líneas Disallow y Allow indican las rutas que se le pide no rastrear o que puede rastrear. La interpretación exacta puede depender del rastreador, así que consulta su documentación si el resultado es importante.
Por ejemplo, un grupo que empieza con User-agent: ExampleBotpuede aplicarse solo a ese rastreador. Se supone que otro grupo con User-agent: * se aplica a los rastreadores que no tienen un grupo más específico. No des por hecho que una regla para un bot se aplica a todos los motores de búsqueda u otros servicios automatizados.
Las rutas también importan. Una regla para /images/ no equivale a una regla para /, y una regla para /drafts/ no necesariamente abarca otra ruta con un nombre parecido. Antes de aplicar una regla a una URL, lee la ruta completa y el grupo en el que aparece.
Considera un archivo que incluye Disallow: /private/en un grupo general de agentes de usuario. Esa instrucción pide a los rastreadores correspondientes que no rastreen las rutas dentro de ese directorio. No impide que alguien abra una URL conocida ni demuestra que todos los bots vayan a cumplirla.
Algunos archivos incluyen comentarios, líneas en blanco o reglas dirigidas a servicios específicos. Céntrate en el grupo de agentes de usuario pertinente para tu consulta y, después, consulta las reglas publicadas por el rastreador para saber cómo gestiona directivas superpuestas o inusuales. Si estás comprobando un motor de búsqueda concreto, su documentación es la referencia adecuada para interpretar su comportamiento.
5. Distingue entre un archivo vacío, uno inexistente y uno no válido
Una respuesta vacía y un archivo inexistente son resultados distintos. Si el servidor devuelve una respuesta correcta sin texto visible, puede que el archivo exista, pero no contenga directivas. Si devuelve un estado de página no encontrada, no ha encontrado un archivo en la URL solicitada. Registra tanto el estado como el cuerpo de la respuesta para no confundir ambos casos.
Si el contenido es inesperado, conviene revisarlo. Una página con un mensaje de error general del sitio, una pantalla de inicio de sesión o código HTML puede indicar que la solicitud llegó a una página alternativa en vez de a un archivo robots.txt normal. La URL puede cargarse correctamente y, aun así, devolver contenido que no sirve como instrucciones para los rastreadores.
No intentes adivinar el significado de líneas mal formadas o desconocidas. Guarda la respuesta exacta y compárala con la documentación del rastreador que estás comprobando. Si el archivo cambia entre una comprobación y otra, anota la hora: una respuesta posterior podría corresponder a una versión corregida y no al mismo contenido.
6. Verifica los resultados con un segundo método
Si el resultado del navegador no está claro, haz una solicitud desde la línea de comandos. Por ejemplo, curl -i https://example.com/robots.txt puede mostrar las cabeceras de respuesta y el cuerpo devuelto en una sola solicitud. Sustituye la dirección de ejemplo por el origen exacto que estás comprobando e incluye el subdominio y el puerto correctos cuando sea necesario.
Las herramientas de desarrollo del navegador ofrecen otra alternativa. Abre el panel Red, carga la URL de robots.txt y selecciona la solicitud para revisar el estado, las cabeceras y el cuerpo de la respuesta. Resulta útil cuando el navegador muestra una redirección o una página con formato, pero no deja claro cuál es el destino final.
Si los métodos dan resultados distintos, compara la URL exacta, la hora, el estado, las redirecciones y el contenido. Una solicitud desde la línea de comandos y otra desde el navegador pueden seguir redirecciones de manera distinta o encontrarse con un problema temporal del servidor. Si intervienen un proxy corporativo, una VPN o una extensión del navegador, prueba sin ellos cuando corresponda; un cambio en la respuesta puede señalar que el problema está en un intermediario y no en el sitio.
Otro ejemplo de comprobación de sitios es cómo comprobar si un sitio webmuestra un aviso de derechos de autor. No confundas esa comprobación con robots.txt: uno es un aviso del sitio para los lectores y el otro es un archivo dirigido a los rastreadores.
7. Registra el alcance y los límites de la comprobación
Anota la URL exacta de robots.txt, la fecha y hora de la solicitud, el estado HTTP, el destino de cualquier redirección y el contenido que has visto. Si interpretas un grupo concreto de directivas, añade el rastreador o el contexto del agente de usuario. Así podrás repetir la comprobación si el sitio cambia.
Limita bien la conclusión. Una respuesta correcta muestra lo que el servidor devolvió para un origen concreto en un momento determinado; no demuestra que una página esté indexada, que todos los visitantes puedan acceder a ella o que todos los rastreadores tengan prohibido rastrearla. Una respuesta que indica que no se encontró el archivo se aplica a la URL solicitada, no automáticamente a todas las versiones de subdominio o protocolo.
El archivo robots.txt puede cambiar sin previo aviso. Si una decisión depende de las reglas actuales, vuelve a comprobar el origen exacto y guarda la nueva respuesta en lugar de basarte en una copia anterior.
