Как проверить наличие файла robots.txt на сайте
Как проверить, есть ли на сайте файл robots.txt
Файл robots.txt — это небольшой текстовый файл с инструкциями для роботов, которые согласны их соблюдать. Проверив его, вы сможете узнать, какие разделы сайта администрация просит определённых роботов посещать или обходить. Файл не раскрывает все настройки сайта и не служит средством защиты.
Если вы хотите узнать, есть ли на сайте файл robots.txt, сначала проверьте точный адрес сайта (origin), затем изучите ответ сервера и содержимое файла. Это важно: файл одного поддомена может ничего не говорить о другом, а ошибка в браузере не всегда означает, что файл отсутствует.
1. Разберитесь, что можно и чего нельзя узнать из robots.txt
В robots.txt содержатся правила для автоматических роботов. Например, правило может просить поискового робота, который соблюдает инструкции, не сканировать раздел вроде /private/. Это просьба, а не средство контроля доступа: посетитель всё равно может открыть этот URL, а робот — проигнорировать просьбу.
Файл также не гарантирует, что закрытая от сканирования страница не появится в результатах поиска. Поисковая система может узнать URL из ссылок на других сайтах и добавить его в результаты, не просматривая содержимое страницы. Если страницу нужно оставить приватной, используйте настоящий контроль доступа, например авторизацию, а не полагайтесь на robots.txt.
Воспринимайте этот файл как общедоступный набор указаний. Он помогает понять поведение роботов, но не подтверждает, что страница доступна, закрыта от посторонних или проиндексирована. Эти вопросы нужно проверять отдельно.
2. Найдите файл robots.txt на нужном сайте
Для сайта с адресом https://example.com стандартное расположение файла — https://example.com/robots.txt. Чтобы найти файл robots.txt на сайте, сохраните протокол и имя хоста, указанные в адресной строке, и добавьте нестандартный порт, если сайт его использует. Файл находится в корне этого адреса, а не в папке вроде /blog/.
Именно поэтому, выясняя, где находится файл robots.txt, учитывайте полный origin: при изменении протокола или имени хоста результат может отличаться. Например, http://example.com/robots.txt и https://example.com/robots.txt — это разные запросы, даже если один адрес перенаправляет на другой. Аналогично, настройки для www.example.com и example.com могут различаться.
У поддоменов свои адреса (origin). Файл https://shop.example.com/robots.txt автоматически не распространяется на https://example.com/ или https://help.example.com/. Проверяйте именно нужный вам хост — особенно если у компании магазин, служба поддержки и основной сайт работают на разных поддоменах.
Для начала проверьте файл через адресную строку: введите полный URL robots.txt и посмотрите, что загрузится. Обычно файл отображается как обычный текст, но форматированное представление в браузере тоже подойдёт. Важно, какой URL вы запросили и что ответил сервер.
3. Проверяйте ответ сервера, а не только страницу в браузере
Успешный ответ обычно означает, что сервер вернул содержимое по этому URL. Многие сайты возвращают код HTTP 200, однако в браузере могут отображаться правила, пустой файл и даже неожиданная страница. Изучайте содержимое вместе с кодом ответа: сама по себе загрузка страницы ещё не доказывает, что перед вами корректный файл robots.txt.
Ответ об отсутствии страницы, часто с кодом 404, указывает, что в данный момент по этому адресу на данном хосте файл не найден. Это полезная информация, но сначала проверьте имя хоста и перенаправления. Тот же результат может дать опечатка или другой поддомен.
С перенаправлениями нужно быть внимательнее. Запрошенный URL может перенаправить на другой хост или путь, а по конечному адресу может вернуться содержимое другого сайта. Прежде чем решать, инструкции какого сайта вы прочитали, запишите исходный URL и адрес назначения.
Ошибки доступа и сбои сервера не означают, что файл отсутствует. Например, ответ 403 может означать, что сервер отклонил запрос, а код 5xx — указывать на временную проблему на сервере. Проверке также могут помешать тайм-аут или ошибка подключения в браузере. Попробуйте ещё раз позже или воспользуйтесь другим способом, прежде чем делать окончательный вывод.
Для другой задачи по проверке сайта можно прочитать, как проверить, публикует ли сайт информацию об участии в партнёрских программах. Такая проверка касается публично доступного уведомления, а не инструкций для роботов.
4. Проверьте директивы robots.txt для нужного робота
Чтобы понять, как проверить правила robots.txt, изучайте каждую группу директив в контексте. Строка User-agent указывает робота, а строки Disallow и Allow описывают пути, которые ему предлагается не сканировать или разрешается сканировать. Трактовка может зависеть от конкретного робота, поэтому при необходимости сверяйтесь с его документацией.
Например, группа, начинающаяся со строки User-agent: ExampleBot, может относиться только к указанному роботу. Отдельная группа с User-agent: * предназначена для роботов, для которых нет более конкретной группы. Не следует считать, что правило для одного робота распространяется на все поисковые системы и другие автоматизированные сервисы.
Важны и пути. Правило для /images/ отличается от правила для /, а правило для /drafts/ необязательно распространяется на похожий путь в другом месте. Прежде чем применять правило к URL, проверьте полный путь и группу, в которой оно указано.
Предположим, в общей группе user-agent есть директива Disallow: /private/. Она просит соответствующих роботов не сканировать пути внутри этого раздела. Но она не мешает человеку открыть известный ему URL и не гарантирует, что все роботы будут её соблюдать.
В некоторых файлах есть комментарии, пустые строки или правила для отдельных сервисов. Найдите группу user-agent, относящуюся к вашему вопросу, а затем проверьте в документации робота, как он обрабатывает пересекающиеся или нестандартные директивы. Если вы проверяете конкретную поисковую систему, для трактовки её поведения следует обращаться к её документации.
5. Отличайте пустой файл от отсутствующего или некорректного
Пустой ответ и отсутствие файла — не одно и то же. Если сервер возвращает успешный ответ, но видимого текста нет, файл может существовать, но не содержать директив. Если сервер возвращает код 404, значит, файл не найден по запрошенному URL. Записывайте и код ответа, и содержимое, чтобы не путать эти случаи.
К неожиданному содержимому стоит присмотреться внимательнее. Если вместо обычных инструкций для роботов отображается сообщение об ошибке сайта, окно входа или HTML-код, возможно, запрос привёл на резервную страницу. URL может успешно загружаться, но при этом возвращать бесполезное для роботов содержимое.
Не пытайтесь угадывать значение некорректных или незнакомых строк. Сохраните точный ответ и сверьтесь с документацией робота, которого проверяете. Если при повторных проверках файл меняется, зафиксируйте время: более поздний ответ может содержать исправленную версию, а не тот же текст.
6. Проверьте результат другим способом
Если результат в браузере неясен, отправьте запрос из командной строки. Например, команда curl -i https://example.com/robots.txt позволяет за один запрос получить заголовки ответа и его содержимое. Замените пример адресом нужного сайта, указав правильный поддомен и порт, если это необходимо.
Можно также воспользоваться инструментами разработчика в браузере. Откройте вкладку Network («Сеть»), загрузите URL robots.txt и выберите соответствующий запрос, чтобы посмотреть его статус, заголовки и содержимое ответа. Это удобно, когда браузер показывает перенаправление или отформатированную страницу, но не отображает очевидным образом конечный адрес.
Если вы ищете, как проверить robots.txt на сайте, сравните точные URL, время проверки, коды ответа, перенаправления и содержимое, когда результаты разнятся. Запросы из командной строки и браузера могут по-разному обрабатывать перенаправления или столкнуться с временным сбоем сервера. Если используется корпоративный прокси, VPN или расширение браузера, при необходимости проверьте результат без них: изменившийся ответ может указывать на посредника, а не на сам сайт.
Ещё один пример проверки сайта — выяснить, есть ли на сайте уведомление об авторских правах. Не смешивайте эту проверку с анализом robots.txt: первое — заявление сайта для читателей, второе — файл с инструкциями для роботов.
7. Зафиксируйте, что именно проверено и каковы ограничения
Запишите точный URL robots.txt, дату и время запроса, код HTTP-ответа, адрес перенаправления, если оно было, и увиденное содержимое. Если вы анализируете конкретную группу директив, укажите, о каком роботе или user-agent идёт речь. Эти записи помогут повторить проверку, если сайт изменится.
Формулируйте выводы аккуратно. Успешный ответ показывает, что сервер вернул для одного адреса в определённый момент времени. Он не доказывает, что страница проиндексирована, доступна всем посетителям или закрыта от всех роботов. Ответ об отсутствии файла относится к запрошенному URL и автоматически не распространяется на все поддомены и версии протокола.
Содержимое robots.txt может измениться без предупреждения. Если решение зависит от актуальных правил, повторно проверьте нужный адрес и сохраните новый ответ, а не полагайтесь на старую копию.
