Как найти дубли страниц и удалить их с сайта: инструкция и советы

SpySerp Team

23 февр., 2018

Как найти дубли страниц и удалить их с сайта: инструкция и советы


С позиции SEO-продвижения дубликаты страниц несут опасность для сайта. Их негативно воспринимают поисковые системы, а в худшем случае дубликаты могут стать причиной значительного падения трафика и проседания позиций сайта в целом. Для того, чтобы предотвратить возможные последствия, необходимо своевременно избавляться от дублей. Как? Об этом мы расскажем в нашей статье.

Чем опасны дубли страниц?

Показать опасность дубля можно на простом примере: представьте две полностью аналогичных страницы сайта с одинаковым содержимым. Содержимое - статья на тематику “Отдых в Таиланде”. Какая из этих двух статей будет более релевантной для поисковой выдачи? Обе страницы абсолютно одинаковы, но нужно выбрать только одну.

В аналогичной ситуации оказывается и краулер поисковой системы, который оценивает содержимое вашего сайта - из двух аналогичных страниц Яндекс или Гугл должны выбрать только одну страницу. В результате необходимости такого выбора могут возникнуть следующие проблемы:

  1. Снижение позиций ключевиков и проседание посадочной страницы.

  2. Постоянные скачки в позициях ключевых слов за счет того, что релевантная страница постоянно меняется.

  3. Когда проблема распространяется на весь сайт, возможно значительное понижение ранжирования всего ресурса.

Кроме того, в таком случае пропадает возможность правильной и точной проверки позиций ключевых слов в поисковых системах.

Резюмируя, все эти проблемы могут быть устранены еще до момента возникновения при условии своевременного устранения дублей страниц на сайте.

Проверьте позиции своего сайта прямо сейчас!

Как найти дубликаты страниц?

Рекомендуется использовать несколько (или один из нескольких) инструментов для поиска дублей. Разберем самые популярные:

  1. Поиск с помощью оператора site:/example.com. Что это дает: вы увидите все проиндексированные страницы сайта и сможете визуально определить наличие повторяющихся страниц. Целесообразно использовать в том случае, когда проиндексированных страниц не несколько тысяч.

  2. Парсеры и специальные сервисы. Есть специальные парсеры с разработанными поисковыми краулерами, которые после запуска программы сканируют ваш сайт. После этого вам будет доступна выкладка всех URL-адресов, которые затем можно отсортировать с помощью совпадений по метатегам title или description. Примером таких программ может быть Screaming Frog или Xenu.

  3. Google Search Console. Крайне удобный инструмент - вкладка “Оптимизация HTML” дает подробные данные по страницам, в том числе описание страниц с повторяющимися мета-тегами.

  4. Проведение ручного поиска на сайте. Целесообразно использовать, если сайт молодой и имеет небольшое количество страниц, или же вы достаточно опытный SEO-специалист и способны обнаружить дубли через ручной поиск.

После того, как дубли страниц были найдены, их необходимо устранить - далее мы рассмотрим способы, как удалить дубликаты с сайта.

Избавляемся от дублей страниц сайта

Устранить дубли можно 4 различными способами:

  1. Непосредственное удаление дублированной страницы.

  2. Выставление запрета на индексацию через файл robots.txt. Хорошо подходят для удаления дублей служебных страниц, которые часто повторяют контент посадочных.

  3. Настройка редиректов - в зависимости от ситуации, можно использовать 301, 302 или 307 редирект.

  4. Использование rel=canonical для страниц с сортировками, фильтрами или пагинации.

Достаточно часто дубли возникают не по вине SEO-специалиста или других сотрудников, а ввиду особенностей работы CMS сайта. Поэтому в случае появления дублей необходимо не только устранить их, но и определить причину их возникновения, и если она кроется в движке сайта - настроить его должным образом.


Понравилась статья? Поделитесь с друзьями
366
Оцените нас!
Среднее 3.5 / 5, голосов: 2

comments powered by HyperComments

Похожие статьи

О чем говорит статистика ключевых слов?

О чем говорит статистика ключевых слов?

Viktor 19 июл., 2019

Зачем необходимо проверять позиции сайта? Как это поможет сайту? О чем говорит статистика ключевых слов? Где она собирается и как работает - разбираемся в этой статье

ТОП-5 ошибок при проверке позиций

ТОП-5 ошибок при проверке позиций

Viktor 5 июл., 2019

Любая аналитическая деятельность требует тщательной подготовки. Неточности исходных данных искажают результат. ✔️ В этой статье мы расскажем, как узнать позиции сайта с живой выдачи поисковика, получить корректные данные.

SEO Продвижение и Поисковая Оптимизация Сайтов

SEO Продвижение и Поисковая Оптимизация Сайтов

Andrew 24 июн., 2019

SEO стратегия напрямую влияет на рейтинги сайта в поисковых системах. Как вы получаете более высокие рейтинги в Google и других поисковых системах? ✔ Мы описали для вас все важные этапы SEO продвижения в этом посте.