Как создать карту сайта и оптимизировать её для поисковых систем

Начиная создавать свой первый сайт, я понятия не имел о том, что такое поисковая индексация и с чем её едят. Но свой проект хотелось видеть на первых позициях Яндекса и Google, а потому позволить себе пройти тему продвижения сайтов стороной элементарно не мог. Прошло пять лет, и теперь мне известны все инструменты продвижения. Сегодня расскажу про тот, что пускается в ход самым первым – SiteMaps.

Картой сайта называется особый xml-файл или же html-страница, которые отображают ссылки на приоритетные страницы сайта. Если уж вы поставили себе задачу продвигаться в ТОП, то SiteMaps будет иметь первостепенную важность. И это не зависит от того, продвигается ли свежеиспечённый сайт или «ремонтируется» старый.

Чтобы разобраться в значении карт, представьте себе оглавление учебника или же дорожную карту. Впервые оказавшись в незнакомом месте или взяв в руки новую книгу, они помогают оказаться в требуемой точке или на нужной странице.

Карта сайта выполняет ту же роль, помогая человеку, а также Яндексу, Google и прочим поисковым системам максимально быстро отыскать нужную страницу.

Прежде всего, скорость индексации возрастает в несколько раз. Поисковые системы будут быстрее индексировать новые страницы, поэтому они получают шанс появиться на первых позициях выдачи поиска очень скоро.

Второе, «глубокие» страницы индексируются намного лучше. Но даже при этом есть вероятность, что они останутся незамеченными.

Третье – это мониторинг индексированных страниц. В комбинации с поиском Google (а также Яндексом и прочими популярными сервисами), можно увидеть, какие URL-адреса показываются в карте сайта, индексируемой поисковиками.

Но сегодня мы сосредоточимся на картах. Что такое SiteMap в общих чертах разобрались. Чем они замечательны и полезны - тоже. Теперь давайте углубимся в тему.

На индексикацию поисковикам требуется время. Системы проверяют страничку за страничкой: от главной до второстепенных. Сайт с большим количеством страниц будет индексироваться медленно. На это может уйти не один месяц. Поэтому чем быстрее вами будет запущена карта, тем лучше.

Карты бывают двух видов. Какие именно, чем они отличаются и какую лучше выбрать, подробно изложу.

Итак, карты сайта можно поделить на две основные категории. Первая из них — HTML карта сайта. Это отдельная страница сайта с перечнем  ссылок. Чаще всего эти ссылки указывают на основные, самые важные и интересные для пользователей разделы сайта. Прежде всего, она рассчитана на человека, помогая быстро найти нужный раздел. Для поисковых систем решающего значения не имеет.

Для наглядности слишком большие страницы таких карт украшаются анимациями и скриптами.

К сожалению, HTML-карта имеет серьезные ограничения по числу ссылок на одной странице. Их количество не может превышать сотню. Если же это произойдёт, то далеко не все ссылки будут проиндексированы поисковыми системами. А в худшем случае страница окажется под санкциями за заспамленность ссылками, даже если они не будут вести за пределы вашего домена. Поэтому не стоит злоупотреблять количеством. Многим сайтам вполне хватает данного лимита ссылок, чтобы указать разделы и подразделы. Но что же делать, если страниц у вас не несколько сотен, а несколько тысяч. А то и десяток тысяч? Переходим ко второму виду.

Это, как можно догадаться, файл в формате XML. Как правило он находится в корне сайта. Имеет целый ряд преимуществ перед своим оппонентом. Во-первых, Sitemap.xml индексирует каждая известная поисковая система: Яндекс, Google, Safari, поиск@Mail.ru и др. Против 100 ссылок, предлагаемых Sitemap.html, он дает возможность прописать до пятидесяти тысяч. Также имеется возможность выставить приоритет и частоту обновления страниц.

Важно отметить, что эти указания будут всего-навсего рекомендацией для поисковика. Допустим, вы решили задать время частоты обновления сайта раз в шесть лет. Затрудняюсь сказать, как часто поисковый робот будет заглядывать на ваши страницы, но поверьте, происходить это будет намного чаще. Решили поставить частоту обновления каждые тридцать минут? Сильно сомневаюсь, что роботы поисковых систем действительно будут проводить индексацию так часто.

• Image XML sitemap  –  расширение для изображений. Может пригодиться, если на вашем сайте картинкам и фотографиям придается большое значение. Загружаете большое количество фото? Рекомендую установить.
• Video XML sitemap  – по аналогии с предыдущим расширение предназначено для сайтов с огромным количеством видеоконтента.
• Mobile XML sitemap – Расширение для мобильных страниц. Может пригодиться для веб-сайта с мобильной версией, размещенной на отдельном URL, не имеющем аннотаций в HTML.
• Alternate language XML sitemap – нужен страницам с альтернативными языками. Такую карту следует ставить мультиязычным сайтам.
• Google News Sitemap — с ней индексация новостей будет проходить заметно шустрее.  Без этой карты не обойтись, если ваш ресурс должен мелькать в Google Новостях.
• RSS feed / Atom – для нового или обновленного HTML-сайта. Можно установить, если контент на нем часто меняется и обновляется. Такая карта хорошая для ресурсов с часто меняющимися изображениями.
• mRSS – расширение RSS-видео. Желательно установить на сайт, если на нем часто обновляется и добавляется видеоконтент.

Не рекомендую прибегать к помощи и использовать инструменты генератора Sitemap, такие как https://www.mysitemapgenerator.com или https://htmlweb.ru/analiz/sitemap.php

Казалось бы, пользоваться ими легко и просто. Вам достаточно ввести URL своего веб-сайта, после чего генератор начинает сканировать его и создает карту специально для вашего сайта. После чего вам останется всего лишь загрузить сгенерированный файл Sitemap на ваш веб-сервер.

Важный нюанс: если вы создаете новые страницы, Sitemap от этого не изменится. А значит не станет отображать новые изменения.

А ведь карта нужна нам именно для того, чтобы поисковая система максимально  быстро узнавала о новых страницах.  Генератор предоставляет мгновенную картину на веб-сайте, но не более того.

Вам стоит добавить URL-адреса в карту сайта, которые совершенно никак не связаны с сайтом. Но стоит отметить, это не обязательно гарантирует, что все не связанные URL будут проиндексированы.

Думаю, я достаточно хорошо аргументировал, почему не стоит пользоваться генераторами Sitemap., если на то нет веских причин.

Какая причина может считаться уважительной? Например, если ваш сайт новый и вам нужно как можно срочнее начать его индексировать. Сомневаюсь,  что в вашем распоряжении достаточно времени и ресурсов для создания динамической карты сайта, которая станет регулярно обновляться.

И всё же в большинстве случаев требуется именно динамическая карта сайта, которая проводит регулярные обновления. Как это реализовать? Сейчас расскажу.

Теперь пришло поговорить о более сложных вещах. Все файлы, которые я приводил до этого, находятся в формате XML. А обратить внимание стоит на два формата – XML-карта сайта и RSS.

По сути, именно они нам и будут нужны и о остальных формах, таких как Atom, даже знать не надо.

SiteMap XML формата имеет свою особую структуру

1)   Декларация

Сканеры поисковиков распознают ее по этой декларации.

2)   Добавление URL-адресов

Тег <urlset> охватывает URL-адреса. Вот вариант простенькой карты сайта с одним URL.

Если требуется добавить больше URL-адресов, то вам будет достаточно прописать больше тегов. Один единственный тег, указывающий местоположение. А при использовании тега Google с Яндексом смогут узнать обо всех важных URL-адресах.

3)   Добавление тега lastmod к URL-адресам

Рекомендую добавить сведения о последнем обновлении URL-адреса в теге <lastmod>, потому что он вполне способен ускорить повторное сканирование URL-адресов с новым контентом.

Полная карта будет выглядеть так:

Форматирование Lastmod

Lastmod использует формат даты и времени W3C. Давайте посмотрим на значение в приведенном выше примере: Описание значения 2018-11-20T18: 30: 00-02:00

При желании в карту сайта можно добавить еще два тега: <changefreq> и <priority>. Единственное, не все поисковики их индексирует. Например, Google начал игнорировать их с мая 2015-го. Представитель компании Джон Мюллер подтвердил это снова в августе 2017-го года. И хотя большинство поисковых систем не обращают на него внимание, некоторые всё же до сих пор учитывают. Заморачиваться с тегом или нет – решать вам.

После создания карты сайта, рекомендую придерживаться определённых правил:

1. Используйте только стандарт кодирования UTF-8
2. Нужно использовать абсолютные URL-адреса. Если у вас есть карта сайта, размещенная в , то вы не можете указать относительный URL-адрес. Например /pageone.html. Вместо этого придётся использовать http://www.samesite.com/pageone.html.
3. Можно сжать карту сайта с помощью метода gzip
4. Уклонение объекта:

Например, URL

требуется экранировать символа (&):

5)  Диакритики и другие символы, отличные от ASCII:

Например, URL

требуется экранировать символа (ä):

URL-адреса, которые обязательно  должны быть помещены в Sitemap.

Со всей серьезностью отнеситесь к выбору URL-адресов в файл карту сайта. Это крайне важная задача!

Не рекомендуется перечислять каждый URL-адрес сайта в файле карты сайта.

Включите веб-страницы, которые собираетесь ранжировать в поисковых системах и показать пользователям – то есть самые важные и качественные.

Исключаем:

1. Полезные страницы, которые необходимы и полезны для пользователей (форма отзыва, учетные записи, списки желаний и тому подобные.), но при этом не предназначенные для размещения на странице.
2. Любые перенаправления (3xx), страницы  ошибок клиента (4xx) или сервера (5xx).
3. URL-адреса с использованием параметров или сеансов идентификаторов.
4. URL-адреса, созданные фильтрацией (ненужные для SEO).
5. Размещены URL-адреса других поддоменов, чем sitemap.xml; если у вас есть URL-адреса на других поддоменах, стоит разместить там еще одну карту сайта.
6. Канонизированные страницы.
7. Страницы с разбивкой на подстраницы.
8. Повторяющиеся страницы.
9. Страницы, запрещенные robots.txt.
10. Страницы с noindex.

Сделать это можно с помощью изображений. Еще раз взгляните на основной файл Sitemap:

Хотите добавить туда изображения? Используйте пространство имен XML для картинок:

А теперь добавьте изображения в тег <url> следующим образом:

Понадобятся теги <image: image> и <image: loc>.

Можно  добавить дополнительную информацию о каждом изображении:

Вариант Sitemap с дополнительными тегами:

Замечания по Sitemap изображений.

1.  К странице можно добавить не более тысячи изображений
2.  Картинки не должны находиться в том же домене, что и ваш веб-сайт. Не забывайте про такой инструмент, как CDN (сеть доставки контента). Убедитесь, что CDN подтвержден в Search Console.

Используемые теги:

Когда на вашем сайте множество языков, то обязательно свяжите их с помощью атрибута «hreflang». Тогда в зависимости от региона поисковики смогут открывать сайт на нужном языке.

Это же касается файлов карты сайта. Вставляя альтернативный элемент в Sitemap, вы поддерживаете индексацию версий на различных языках.

Вам нужно сделать уникальный URL  всем URL-адресам. Все элементы URL обязаны иметь тег , указывающий URL-адреса страниц, и подэлемент  для всех иных версий страницы, в том числе ее саму.

Тег  включает атрибуты для правильного языкового  URL:

rel="alternate" hreflang="en-us" href="http://www.example.com/"

Не забудьте добавить пространство имен XML для XHTML.

Необходимость в ней есть лишь в том случае, если ваш сайт заточен только под мобильные устройства. При адаптивном дизайне нужды в ней нет.

При создании мобильной карты добавьте пространство имен XML для мобильных устройств и используйте тег , включая атрибуты для обслуживания мобильной версии URL:

Поможет контролировать, какой контент попадёт в новости Google. Прежде чем добавить её, зарегистрируйте сайт в Google новостях. Затем  добавьте все статьи новостей, созданные за последние два дня, с лимитом в 1000 URL-адресов. Обновление карты сайта должно выполняться каждый раз, когда публикуется новостная статья.

Используйте теги <news: news> для каждого URL-адреса.

Дабы новость лучше показывалась в новостях, используйте тег <image: image>. Иначе изображение может быть выбрано случайно или не показываться вообще.

Чтобы проверить, насколько успешно вы адаптировали сайт для поисковиков, не забудьте подключить Яндекс Метрику. Сделать это намного проще, чем настроить SiteMap - пошаговая настройка в видео: https://www.youtube.com/watch?v=5LESlGZuePs

Не забудьте про интересный и адаптированный SEO-контент - именно он будет ключом к успешному продвижению! Но обязательно изучите новые тенденции в написании статей - в 2019 году они сильно поменялись.

Надеюсь, эта информация и формы шаблонов кода помогут настроить вам карту сайта. Удачи!