Как найти дубли страниц и удалить их с сайта: инструкция и советы

SpySerp Team

23 февр., 2018

Как найти дубли страниц и удалить их с сайта: инструкция и советы


С позиции SEO-продвижения дубликаты страниц несут опасность для сайта. Их негативно воспринимают поисковые системы, а в худшем случае дубликаты могут стать причиной значительного падения трафика и проседания позиций сайта в целом. Для того, чтобы предотвратить возможные последствия, необходимо своевременно избавляться от дублей. Как? Об этом мы расскажем в нашей статье.

Чем опасны дубли страниц?

Показать опасность дубля можно на простом примере: представьте две полностью аналогичных страницы сайта с одинаковым содержимым. Содержимое - статья на тематику “Отдых в Таиланде”. Какая из этих двух статей будет более релевантной для поисковой выдачи? Обе страницы абсолютно одинаковы, но нужно выбрать только одну.

В аналогичной ситуации оказывается и краулер поисковой системы, который оценивает содержимое вашего сайта - из двух аналогичных страниц Яндекс или Гугл должны выбрать только одну страницу. В результате необходимости такого выбора могут возникнуть следующие проблемы:

  1. Снижение позиций ключевиков и проседание посадочной страницы.

  2. Постоянные скачки в позициях ключевых слов за счет того, что релевантная страница постоянно меняется.

  3. Когда проблема распространяется на весь сайт, возможно значительное понижение ранжирования всего ресурса.

Кроме того, в таком случае пропадает возможность правильной и точной проверки позиций ключевых слов в поисковых системах.

Резюмируя, все эти проблемы могут быть устранены еще до момента возникновения при условии своевременного устранения дублей страниц на сайте.

Проверьте позиции своего сайта прямо сейчас!

Как найти дубликаты страниц?

Рекомендуется использовать несколько (или один из нескольких) инструментов для поиска дублей. Разберем самые популярные:

  1. Поиск с помощью оператора site:/example.com. Что это дает: вы увидите все проиндексированные страницы сайта и сможете визуально определить наличие повторяющихся страниц. Целесообразно использовать в том случае, когда проиндексированных страниц не несколько тысяч.

  2. Парсеры и специальные сервисы. Есть специальные парсеры с разработанными поисковыми краулерами, которые после запуска программы сканируют ваш сайт. После этого вам будет доступна выкладка всех URL-адресов, которые затем можно отсортировать с помощью совпадений по метатегам title или description. Примером таких программ может быть Screaming Frog или Xenu.

  3. Google Search Console. Крайне удобный инструмент - вкладка “Оптимизация HTML” дает подробные данные по страницам, в том числе описание страниц с повторяющимися мета-тегами.

  4. Проведение ручного поиска на сайте. Целесообразно использовать, если сайт молодой и имеет небольшое количество страниц, или же вы достаточно опытный SEO-специалист и способны обнаружить дубли через ручной поиск.

После того, как дубли страниц были найдены, их необходимо устранить - далее мы рассмотрим способы, как удалить дубликаты с сайта.

Избавляемся от дублей страниц сайта

Устранить дубли можно 4 различными способами:

  1. Непосредственное удаление дублированной страницы.

  2. Выставление запрета на индексацию через файл robots.txt. Хорошо подходят для удаления дублей служебных страниц, которые часто повторяют контент посадочных.

  3. Настройка редиректов - в зависимости от ситуации, можно использовать 301, 302 или 307 редирект.

  4. Использование rel=canonical для страниц с сортировками, фильтрами или пагинации.

Достаточно часто дубли возникают не по вине SEO-специалиста или других сотрудников, а ввиду особенностей работы CMS сайта. Поэтому в случае появления дублей необходимо не только устранить их, но и определить причину их возникновения, и если она кроется в движке сайта - настроить его должным образом.


Понравилась статья? Поделитесь с друзьями
667
Оцените нас!
Среднее 3.5 / 5, голосов: 2

comments powered by HyperComments

Похожие статьи

Руководство по созданию и внедрению микроразметки для вашего сайта

Руководство по созданию и внедрению микроразметки для вашего сайта

Anastasia 8 янв., 2020

Как использовать микроразметку, чтобы выделить свой сайт в результате поиска и пользователи чаще переходили на него. Самый действенный метод достижения этой цели – работа со структурированными данными. В этой статье мы постараемся разобраться, что же такое структурированные данные и как их можно внедрить на свой сайт.

Как повлияет BERT на SEO в 2020 году

Как повлияет BERT на SEO в 2020 году

Viktor 25 дек., 2019

В Сети уже успели перемыть все косточки новому алгоритму BERT и назвать его чуть ли не самым мощным событием года. Чем это

грозит? Так ли страшен BERT, как его рисуют? Разбираемся в этой статье.

Микроразметка Schema.org: как использовать для SEO-продвижения

Микроразметка Schema.org: как использовать для SEO-продвижения

Anastasia 20 дек., 2019

Schema.org — это стандарт семантической разметки (микроразметки) данных на сайтах в сети Интернет. В этой статье мы рассмотрим, что из себя представляет микроразметка, как она позволяет передавать поисковикам основную информацию со страницы, а также в чем её польза для SEO-оптимизации.