При продвижении и раскрутке сайта имеет смысл составить файл robots.txt.
Файл этот служит для того, чтобы скрыть как от пользователей, таки от поисковых машин лишнюю для них информацию. Это может быть техническая информация, которая пользователю будет совершенно неинтересна. Такие файлы и каталоги должны быть закрыты.Robots.txt это текстовый документ в корне сайта, который указывает поисковым роботам параметры индексации сайта. То есть, указывает поисковику, среди какого контента сайта ему следует производить поиск по ключевым словам запроса. Может быть составлен в обычном Блокноте, с дальнейшим присвоением ему соответствующего имени.
Поисковые системы должны производить поиск только среди контента сайта, индексировать только его. Иначе работа поисковика значительно усложниться, поиск и загрузка необходимой информации увеличится во времени, что приведёт к неизбежной потере потенциальных пользователей вашего ресурса. Кроме того, поисковые программы могут просто проигнорировать ваш сайт, если окажется, что они не укладываются по времени и слишком долго его индексируют. Такая схема в них заложена.
Отрезание от поисковых роботов лишней технической информации приводит к ускорению нахождения им вашего сайта, ускоряет загрузку самого сайта.
Также с помощью файла robots.txt возможно изолировать от внимания поисковых систем часть контента. Это может быть повторяющийся контент, который по различным причинам возникает в процессе заполнения сайта. Дублированный контент негативно воспринимается поисковиками, а это как раз то, что нам нужно всячески избегать. Поисковик попросту не будет тратить свой ресурс на его обработку. Таким образом, файл robots.txt значительно помочь в процессе работы сайта, а его игнорирование может привести к неизбежным трудностям.
Речь при этом идёт о различных повторяющихся отрывках контента внутри сайта, а не о внешних копиях. Внешние копии остаются главным образом на совести автора сайта. Но и этого стоит избегать, так как Яндекс, например, использует свои фильтры для отслеживания подобных дублей и не допустит их распространения, и просто не станет их индексировать.
Само собой, это не распространяется на ключевые слова, так как это именно, то, к чему мы стремимся привлечь внимание поисковиков и пользователей. Однако ключевые слова должны быть включены в разнообразный и уникальный контент.
