Что такое robots.txt и для чего он нужен сайту
Что такое robots.txt и зачем он сайту: отличие от noindex, типичные ошибки, влияние на индексацию и связь с SEO на практике.
Упёрлись в индексацию, дубли или технические ограничения?
Разберём, какие технические проблемы мешают росту, и подготовим точечные решения без хаотичных правок по всему сайту.
Что такое robots.txt
Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы можно сканировать, а какие — нет. Это не «запрет на индексацию» сам по себе: для закрытия конкретной страницы от выдачи используют мета-тег noindex или настройки в панели вебмастера.
Зачем он нужен
- закрыть от обхода служебные разделы (корзина, фильтры, поиск по сайту);
- указать путь к карте сайта (sitemap);
- снизить нагрузку на сервер, если роботы «залипают» на бесконечных URL.
Типичные ошибки
- случайно закрыть весь сайт директивой
Disallow: /; - думать, что robots.txt скрывает страницу от людей (её всё равно можно открыть по прямой ссылке);
- не обновлять файл после миграции или смены структуры.
Связь с индексацией и SEO
Robots.txt — часть технической базы. Его проверяют вместе с sitemap, редиректами и дублями. Подробнее о том, когда открывать сайт поисковикам, — в статье нужно ли индексировать сайт до полной оптимизации.
Для комплексной проверки технических настроек подойдёт техническое SEO или аудит сайта: там смотрят не только robots.txt, но и скорость, мета-теги и структуру URL.
Упёрлись в индексацию, дубли или технические ограничения?
Разберём, какие технические проблемы мешают росту, и подготовим точечные решения без хаотичных правок по всему сайту.
Другие статьи блога
Все статьиОбъясняем, почему современное SEO уже редко может быть работой одного специалиста: нужны аналитика, программист, копирайтер, дизайнер и контроль внедрения.
Разбираем признаки, по которым видно, что над сайтом работает шаблонная автоматизация, а не SEO-специалист: одинаковые отчёты, нет идей, нет работы со структурой.