Не найден файл robots.txt: что делать и как исправить быстро

hannadev

Файл robots.txt не найден — распространённая проблема для владельцев сайтов. Это текстовый файл в корне сайта, который говорит поисковым ботам, что индексировать, а что нет. Без него или с ошибками SEO страдает, трафик падает.

Разберём, почему файл не виден, где его искать и как создать или настроить правильно. Это поможет избежать ошибок в Google Search Console и Яндекс.Вебмастере, восстановить индексацию. Пройдём по шагам от проверки до фикса.

Почему файл robots.txt может не отображаться

Файл robots.txt должен лежать в корневой папке сайта, но часто его не видно в файловом менеджере или FTP. Это происходит из-за особенностей CMS вроде WordPress, uCoz или конструкторов сайтов. Например, в WordPress файл может генерироваться динамически по адресу сайт/robots.txt, но физически отсутствовать в корне — плагины или тема его создают на лету.

Другая причина — системные настройки хостинга. Многие панели вроде cPanel или ISPmanager подставляют дефолтный robots.txt, если свой не найден. Пользователи жалуются: открывается по ссылке, но в FileZilla или менеджере пусто. Это не баг, а фича для безопасности — файл скрыт, чтобы новички не сломали SEO. Плюс, боты вроде Google иногда блокируют доступ из-за firewall или fail2ban.

Перед паникой проверьте:

Откройте в браузере вашсайт.ru/robots.txt — если текст есть, файл работает.
Используйте инструменты Google Search Console или Яндекс.Вебмастер для проверки ошибок.

Признак проблемы	Возможная причина	Быстрый тест
Не открывается по /robots.txt	Нет файла или блокировка	Ping в браузере или curl
Виден в браузере, но не в FTP	Динамическая генерация	Проверьте в root через SSH
403 Forbidden	Firewall или права доступа	Логи сервера
Пустой файл	Системный дефолт	Сравните с шаблоном

Где искать и как получить доступ к файлу

Доступ к robots.txt зависит от платформы. В конструкторах типа Tilda или RU-CENTER файл редактируется в настройках, без FTP. На самостоятельном хостинге ищите в корне через FileZilla, но убедитесь, что показаны скрытые файлы — включив опцию ‘Force show hidden files’. Если на VPS, подключитесь по SSH: cd /var/www/html && ls -la | grep robots.txt.

В CMS ситуация сложнее. WordPress часто прячет файл, генерируя его через wp-robots.txt или плагины вроде Yoast SEO. В uCoz он не появляется в менеджере, но доступен по прямой ссылке — редактируйте в панели модулей. Пример: пользователь видит robots.txt в браузере, но не может отредактировать в FileZilla — решение в админке CMS.

Шаги для поиска:

Проверьте браузер — введите полный URL.
FTP/Файловый менеджер — root-директория, покажите скрытые файлы.
В CMS: админка → SEO-настройки или Yoast/RankMath.
Хостинг-панель — раздел ‘Файлы’ или ‘Сайты’.

Платформа	Где редактировать	Примечание
WordPress	Yoast SEO или /wp-content/	Динамический
uCoz	Модули → Файловый менеджер	Системный
cPanel	File Manager → public_html	Права 644
Конструкторы	Настройки SEO	Без FTP

Как создать robots.txt, если его нет

Создать файл просто: новый текстовий файл с именем robots.txt, без расширения. Разместите в корне сайта — путь /public_html/robots.txt. Начните с базовых директив: User-agent: * Disallow: /wp-admin/ — это закроет админку от индексации. Добавьте Sitemap: Sitemap: https://site.ru/sitemap.xml для ускорения сканирования.

Не переусердствуйте — ошибка вроде Disallow: / заблокирует весь сайт. Тестируйте в Google Search Console (Инструменты → Проверка robots.txt) или сервисе robots.txt Tester. Пример для типичного сайта: запретите /?p=, /tag/, но разрешите /blog/. Файл не должен превышать 2 КБ, иначе парсер его игнорирует.

Пошаговый план создания:

Создайте файл в Notepad++ или Блокноте.
Ключевые директивы: User-agent, Allow, Disallow, Sitemap.
Загрузите в root (права 644).
Проверьте: сайт.ru/robots.txt.
Добавьте Clean-Param для Яндекса, если параметры в URL.

Директива	Что делает	Пример
User-agent: *	Для всех ботов	Disallow: /private/
Allow: /	Разрешить путь	/images/
Sitemap:	Указать карту	site.ru/sitemap.xml
Host:	Основное зеркало (Яндекс)	www.site.ru

Типичные ошибки и как их исправить

Частая ошибка — неправильный синтаксис: лишние пробелы или заглавные буквы меняют смысл. Ещё проблема с доступом: боты получают 403 из-за mod_security или лимитов хостинга. В логах Google укажут ‘Боты не могут получить доступ к robots.txt’ — проверьте firewall, отключите fail2ban временно.

Другая ловушка — конфликт с .htaccess: если там редиректы, файл может не читаться. Решение: очистите кэш CDN вроде Cloudflare, где robots.txt кэшируется. После правок подождите 1–2 дня, пока боты пересканируют.

Чек-лист исправлений:

Валидация: Онлайн-тестеры вроде technicalseo.com/tools/robots-txt.
Синтаксис без ошибок — только ASCII-символы.
Права файла: 644, владелец www-data.
Перезагрузка: удалите старый, загрузите новый.
Мониторинг в Webmaster-тулах.

Robots.txt под контролем: нюансы на заметку

Всё кажется простым, но остаются детали вроде поддержки JavaScript-сайтов — боты читают только статичный robots.txt, SPA требуют специфики. Подумайте о мультидомене: один файл на зеркало или отдельные.

Ещё вопрос — кастом под ботов: Googlebot, YandexBot имеют свои фичи, как Clean-Param. Если сайт на Next.js или Nuxt, генерируйте статично. Стоит поэкспериментировать с логами, чтобы увидеть, как именно боты реагируют.