Как найти дубли страниц и удалить их с сайта: инструкция и советы

Как найти дубли страниц и удалить их с сайта: инструкция и советы

23 февр., 2018 | SpySerp Team

С позиции SEO-продвижения дубликаты страниц несут опасность для сайта. Их негативно воспринимают поисковые системы, а в худшем случае дубликаты могут стать причиной значительного падения трафика и проседания позиций сайта в целом. Для того, чтобы предотвратить возможные последствия, необходимо своевременно избавляться от дублей. Как? Об этом мы расскажем в нашей статье.

Чем опасны дубли страниц?

Показать опасность дубля можно на простом примере: представьте две полностью аналогичных страницы сайта с одинаковым содержимым. Содержимое - статья на тематику “Отдых в Таиланде”. Какая из этих двух статей будет более релевантной для поисковой выдачи? Обе страницы абсолютно одинаковы, но нужно выбрать только одну.

В аналогичной ситуации оказывается и краулер поисковой системы, который оценивает содержимое вашего сайта - из двух аналогичных страниц Яндекс или Гугл должны выбрать только одну страницу. В результате необходимости такого выбора могут возникнуть следующие проблемы:

  1. Снижение позиций ключевиков и проседание посадочной страницы.

  2. Постоянные скачки в позициях ключевых слов за счет того, что релевантная страница постоянно меняется.

  3. Когда проблема распространяется на весь сайт, возможно значительное понижение ранжирования всего ресурса.

Кроме того, в таком случае пропадает возможность правильной и точной проверки позиций ключевых слов в поисковых системах.

Резюмируя, все эти проблемы могут быть устранены еще до момента возникновения при условии своевременного устранения дублей страниц на сайте.

Проверьте позиции своего сайта прямо сейчас!

Как найти дубликаты страниц?

Рекомендуется использовать несколько (или один из нескольких) инструментов для поиска дублей. Разберем самые популярные:

  1. Поиск с помощью оператора site:/example.com. Что это дает: вы увидите все проиндексированные страницы сайта и сможете визуально определить наличие повторяющихся страниц. Целесообразно использовать в том случае, когда проиндексированных страниц не несколько тысяч.

  2. Парсеры и специальные сервисы. Есть специальные парсеры с разработанными поисковыми краулерами, которые после запуска программы сканируют ваш сайт. После этого вам будет доступна выкладка всех URL-адресов, которые затем можно отсортировать с помощью совпадений по метатегам title или description. Примером таких программ может быть Screaming Frog или Xenu.

  3. Google Search Console. Крайне удобный инструмент - вкладка “Оптимизация HTML” дает подробные данные по страницам, в том числе описание страниц с повторяющимися мета-тегами.

  4. Проведение ручного поиска на сайте. Целесообразно использовать, если сайт молодой и имеет небольшое количество страниц, или же вы достаточно опытный SEO-специалист и способны обнаружить дубли через ручной поиск.

После того, как дубли страниц были найдены, их необходимо устранить - далее мы рассмотрим способы, как удалить дубликаты с сайта.

Избавляемся от дублей страниц сайта

Устранить дубли можно 4 различными способами:

  1. Непосредственное удаление дублированной страницы.

  2. Выставление запрета на индексацию через файл robots.txt. Хорошо подходят для удаления дублей служебных страниц, которые часто повторяют контент посадочных.

  3. Настройка редиректов - в зависимости от ситуации, можно использовать 301, 302 или 307 редирект.

  4. Использование rel=canonical для страниц с сортировками, фильтрами или пагинации.

Достаточно часто дубли возникают не по вине SEO-специалиста или других сотрудников, а ввиду особенностей работы CMS сайта. Поэтому в случае появления дублей необходимо не только устранить их, но и определить причину их возникновения, и если она кроется в движке сайта - настроить его должным образом.


Понравилась статья? Поделитесь с друзьями
Оцените нас!


comments powered by HyperComments

Похожие статьи

SEO 2019: стратегии, на которые стоит обратить внимание

SEO 2019: стратегии, на которые стоит обратить внимание

SpySerp Team 11 дек., 2018

На что обратить внимание при разработке SEO-стратегии в 2019 году? Рекомендации и советы, на основании исследований ведущих агентств и специалистов в 2018 году.

Бесплатные ссылки для SEO и трафика в 2019 году

Бесплатные ссылки для SEO и трафика в 2019 году

SpySerp Team 10 дек., 2018

Где можно получить бесплатные ссылки для своего сайта? 14 сайтов, которые позволят получить бесплатные ссылки для SEO и трафика в 2019 году.

Amazon Associates чек-лист: 18 обязательных пунктов и рекомендаций

Amazon Associates чек-лист: 18 обязательных пунктов и рекомендаций

SpySerp Team 6 дек., 2018

Продвижение сайта под Амазон: что нужно сделать и какие пункты обязательны? Смотрите наш чек-лист из 18 позиций по продвижению и монетизации сайта на Amazon Associates!