Правильное составление robots.txt и sitemap

Robots.txt - это Ваш верный союзник :)!!!
Robots.txt — это Ваш верный союзник :)!!!

Конкуренция это двигатель прогресса!

На сегодня конкуренция в интернете между сайтами очень велика. И что бы продвинуть собственный сайт в топ поисковиков, мало заполнить сайт качественным контентом, нужно ещё и правильно оптимизировать его.

Для начала поговорим о robots.txt

Robots.txt — это специальный файл который влияет на индексацию сайта поисковыми системами. Правильно составленный robots.txt поможет контролировать индексацию сайта.

Ниже приведены теги robots.txt в необходимом порядке

User-agent: * Тег означает что robots.txt применима ко всем поисковым роботам
Disallow: — тег означает что мы разрешаем индексировать сайт роботам. Если поставить / то у нас получится Disallow:/ это значит что поисковым роботам запрещено индексировать сайт, если после / прописать любую страницу вашего сайта, то весь сайт будет индексироваться кроме этой страницы. Тег Disallow: можно применять несколько раз. Вот пример таких запрещающих директив:

Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: */trebovania-k-maketam
Disallow: */detail.php?*

Crawl-delay: 20 тег отвечает за время между переходами поискового робота по сайту. В данном случае установлено 20 секунд

Host: seo-wave.ru Тег указывает основное зеркало вашего сайта, с помощью директивы host вы можете указать поисковым системам приоритетный адрес вашего сайта с Host: www.seo-wave.ru или Host: seo-wave.ru.
Давайте подведем итог, из каких базовых тегов должен состоять robots.txt вашего сайта.

  1. С чего нужно начинать, это указать нужного для Вас юзер агента, например:

User-Agent: *
User-Agent: Yandex
User-Agent: Googlebot
User-Agent: Mail.Ru

Как вы поняли это агенты поисковых систем (боты).

2. Следующий шаг мы должны указать какие страницы нужно индексировать а какие нет, в этом нам помогут директивы:

Allow: (можно индексировать).
Disallow: (нельзя индексировать).

Когда будете запрещать индексировать страницы вашего сайта, обязательно убедитесь что странницы которые вы хотите закрыть от индексации нет в карте сайта sitemap.xml, в противном случае поисковая система это сочтет как не критичная ошибка. И соответственно это влияет на продвижение сайта в ОРГ поиске.

Пример:

Allow: /search/map.php
Disallow: */detail.php?*

После того как мы разобрались какие страницы нам нужно индексировать а какие нет, нам нужно указать адрес хоста сайта, адреса карт сайта. Вот пример роботса для юзер агента поисковой системы Яндекс:

1. Здесь мы указываем страницы для индексации и на оборот, также указываем адрес нашего сайта на хостинге, это поможет быстрее проиндексировать ваш сайт относительно тех кто этого не сделал к Вам поисковые роботы пойдут первому.

User-Agent: Yandex
Disallow: /search/
Allow: /search/map.php
Host: http://seo-wave.ru/

Это же касается фото и видео сайта, нужно указать папки с фото и видео.

User-Agent: YandexImages
Allow: /images/
Allow: /uploads/
Sitemap: http://seo-wave.ru/sitemap.xml

Теперь поговорим о составлении sitemap

Составить правильный sitemap сайта очень просто. На сегодня есть много онлайн сервисов и программ, составляющих sitemap бесплатно. Я пользуюсь этим сервисом https://www.screamingfrog.co.uk/seo-spider/. Эта программа позволяет провести сео анализа Вашего сайта и генерировать хорошие карты сайта как страниц сайта так и карту сайта для картинок. С генерированные файлы карты сайта программой Screaming Frog SEO Spider нужно добавить в корень вашего сайта.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *