Robots.txt .htaccess, sitemap

.htaccess

Каждый интернет ресурс имеет два зеркала — с приставкой www и без нее. Чтобы поисковики не воспринимали эти зеркала как два разных сайта с одинаковым контентом, необходимо выбрать из них главное и настроить редирект 301 на него, со второго зеркала. Тогда оба зеркала поисковиками будут восприниматься как единое целое и не будет играть роли, на какое из них ссылаются сторонние сайты — редирект позволит автоматически перекидывать пользователя на нужный адрес. Для этого необходимо создать и настроить файл .htaccess. Дополнительно можно указать основное зеркало в Яндекс Вебмастер и Google — инструменты для веб-мастеров. Для поисковиков все равно, какое зеркало вы выберете основным, поэтому исходите из своих личных предпочтений. Так же можно делать редирект со тарых URL на новые, чтобы избежать дублирование контента и перелить внешний ссылочный вес.

robots.txt

Файл robots.txt указывает поисковикам, какие страницы сайта им можно индексировать, а какие нельзя. Директивы Host и Sitemap служат для указания главного зеркала и адреса карты сайта.

Пример:
User-agent: *
Disallow:
Host: www.vash_site.ru
Sitemap: http://www.vash_site.ru/sitemap.xml

Sitemap

Карта сайта (Sitemap) – это специальный файл в формате .xml, хранящийся в корневой директории сервера. Это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.