Что такое robots.txt
Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы можно сканировать, а какие — нет. Это не «запрет на индексацию» сам по себе: для закрытия конкретной страницы от выдачи используют мета-тег noindex или настройки в панели вебмастера.
Зачем он нужен
- закрыть от обхода служебные разделы (корзина, фильтры, поиск по сайту);
- указать путь к карте сайта (sitemap);
- снизить нагрузку на сервер, если роботы «залипают» на бесконечных URL.
Типичные ошибки
- случайно закрыть весь сайт директивой
Disallow: /; - думать, что robots.txt скрывает страницу от людей (её всё равно можно открыть по прямой ссылке);
- не обновлять файл после миграции или смены структуры.
Связь с индексацией и SEO
Robots.txt — часть технической базы. Его проверяют вместе с sitemap, редиректами и дублями. Подробнее о том, когда открывать сайт поисковикам, — в статье нужно ли индексировать сайт до полной оптимизации.
Для комплексной проверки технических настроек подойдёт техническое SEO или аудит сайта: там смотрят не только robots.txt, но и скорость, мета-теги и структуру URL.