Что такое robots.txt и для чего он нужен сайту

Что такое robots.txt

Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы можно сканировать, а какие — нет. Это не «запрет на индексацию» сам по себе: для закрытия конкретной страницы от выдачи используют мета-тег noindex или настройки в панели вебмастера.

Зачем он нужен

• закрыть от обхода служебные разделы (корзина, фильтры, поиск по сайту);
• указать путь к карте сайта (sitemap);
• снизить нагрузку на сервер, если роботы «залипают» на бесконечных URL.

Типичные ошибки

• случайно закрыть весь сайт директивой Disallow: /;
• думать, что robots.txt скрывает страницу от людей (её всё равно можно открыть по прямой ссылке);
• не обновлять файл после миграции или смены структуры.

Связь с индексацией и SEO

Robots.txt — часть технической базы. Его проверяют вместе с sitemap, редиректами и дублями. Подробнее о том, когда открывать сайт поисковикам, — в статье нужно ли индексировать сайт до полной оптимизации.

Для комплексной проверки технических настроек подойдёт техническое SEO или аудит сайта: там смотрят не только robots.txt, но и скорость, мета-теги и структуру URL.