Здравствуйте, уважаемые читатели моего блога. Сегодня у меня незапланированная статья. Если честно, не хотел об этом писать, но сегодня просматривал старые посты, и понял, что прочтя статью правильный robots.txt для сайта, посетитель не поймет, почему у меня нестандартный файл robots.txt. В этой статье я расскажу о дублях страниц, что это такое, как их избежать, и как дубли влияют на поисковое продвижение.
Поисковые системы жестко борются с дублями страниц на сайте, и как правило, сайты содержащие дубликаты страниц, теряют свои позиции в поисковиках. Но здесь есть одна особенность, Яндекс мягче относится к сайтам, содержащим дубли, и обычно дубликаты просто вылетают из поиска, не вредя всему сайту. С Google дело намного сложнее, подробнее сейчас расскажу.
Как я узнал и удалил дубли страниц replytocom.
Сразу скажу, что информация эта взорвала Рунет в этом году. Поделился с ней Александр Борисов, автор блога isif-life.ru. Сразу после этого он выпустил видеокурс КСБТ 3.0 в котором рассказал о самых методах продвижениях, которыми не делиться не один СЕОшник, можете прочесть отзывы об этом курсе здесь. Если купите курс по моей партнерской ссылке, то я верну вам 30% комиссионых, просто напишите мне на почту после приобретения курса.
Но давайте не буду вдаваться все-таки в коммерческие дела, а вернусь к дублям страниц. Как я уже говорил, гугл очень плохо относится к дублям страниц. А движок WordPress может лепить дубли, только в путь.
Практически на всех блогах есть форма комментариев, и под каждым комментарием появляется волшебная ссылочка – ответить. Эта ссылка и лепит один из видов дублей. То есть появляется страница с одним и тем же комментарием, только под другим url, например, ?replytocom=2115.
Вы спросите, почему так происходит, ведь я закрыл все это в файле robots.txt и поисковые системы не должны индексировать подобные страницы. Ответ вас разочарует. Дело в том, что в отличие от Яндекса, гугл не всегда следует правилам robots.txt, и берет подобные страницы на индексацию.
Древовидные комментарии и кнопка ответить не единственные инструменты для лепки огромного количества дублей. Такие файлы как, feed, tag, page, category и многие другие тоже генерирую дубликаты страниц.
Чтобы избавиться от такого количества дублей, нужно изменить файл robots.txt, то есть разрешить поисковым роботам индексировать практически все, а на самой странице дубля запретить индексацию или сделать 301 редирект на основную страницу. Третий шаг – это изменение файла .htaccess, который находится в корневой директории блога. И последний шаг, это отключение разбивки комментариев верхнего уровня на страницы.
Все подробно описывать не буду, На блоге Александра Борисова есть подробная инструкция по удалению дублей. Информация верна на 100 %, сам все проверял. Если заинтересовало, заходите и читайте – Как удалить дубли страниц на WordPress.
На этом у меня все, удаляйте срочно дубли, если они у вас есть, иначе можете забыть про трафик из Google.
P.S. Объявляю результаты конкурса комментаторов за октябрь:
1 место. Диана (rich-energy.ru)– 37комментариев;
2 место. Иван Зелинский (ru-mo.ru)– 37 комментариев;
Иван и Диана оставили одинаковое количество комментариев. Я выбрал призовые места исходя из объемности комментариев.
3 место. Рашида (rashidagarifulina.ru) — 27 комментариев.
Спасибо, что комментируете мой блог! Всех участников прошу выслать номера кошельков для перевода денежных призов. Переведу в ближайшие дни.
P.P.S. Временно приостанавливаю конкурс комментаторов ради эксперимента. Посмотрим как это повлияет на блог в целом. Я думаю что негативно, но результат покажет.
Андрей приветствую! Читал я эту информацию, хорошая не спорю. А вот совсем не давно нашел еще решение проблемы дублей. Это решение плагином, но у меня к сожалению он не захотел работать. Вот скоро поставлю тестовый блог и там буду пробовать рекомендации Борисова.
Интересно, а что за плагин?
Скорее всего это плагин про который писал Борисов, в своей статье, который помогает отвечать на комменты других с помощью java скрипта!
Тот плагин решает только проблему дублей replytocom, но не скроет дубли — feed, category и т д.
Я вот тоже про дубли страниц прочитала статью у Борисова Александра. Я пока не делала ничего, просто отключила древовидные комментарии, не очень красиво смотрится, но это временно.) Курс этот буду 100% покупать, но не сегодня. Скидка хорошая у тебя.))
Очень люблю сестер Олсен, как увидела картинку, сразу фильмы с их участием поглядеть захотелось.)))
На молодом блоге приостанавливать конкурсы опасно.)) Даже большие блоги до сих пор делают конкурс, я имею ввиду комментаторов. Но ради эксперимента интересно будет поглядеть, что выйдет из этого.)
Я тоже думаю, что приостановка конкурса скорее всего негативно скажется, просто хочу проверить )))
Андрей, rich-energy.ru разве Дианы?
Может и мне сайт Сергея Стрелкова вписать URL как собственный?
Иван, я тоже не знаю почему Диана оставляет ссылку на блог Сергея Стрелкова. Может у нее спросим?
Иван, зачем Вы простите одно и тоже пишите везде, Вас задевает, что я ставлю ссылку Сергея???
Я уже Вам отвечала, что я работаю с Сергеем, и я его помощница! Неужели с первого раза Вам это было непонятно?))))) Так вот ответила еще раз! А это уже Ваше дело чью ссылку втыкивать...не надо меня провоцировать Иван, я Вам один раз ответила, зачем по 1000 раз об этом говорить?))
Андрей, ты еще не знаешь. Ссылку Сергея ставлю, потому что я работаю с ним, я его помощница.) Вот и все. Разве конкурс противоречит этому? По-моему любую ссылку можно ставить, не так ли??)) Это ведь мое право и только мне решать правда ведь?)
Не знаю что так этого Ивана цепляет, везде мне тычет какую ссылку ставлю, а мое дело какую ссылку ставить, понятно Вам Иван??? Приставучий какой
Андрей прости, накипело просто, ну не понимает человек.)
Конечно это не противоречит правилам конкурса.
Надеюсь больше никогда и нигде Вы не будете задавать таких вопросов! Надеюсь теперь я доходчиво объяснила! Я живу в свободной стране, какую хочу ссылку такую и ставлю! Так то вот.))
Не будете*
Андрей исправь плиз ошибку, пишу быстро, на работе просто, клиенты ходят.)
Иван, кстати, раз Вам так хочется, тоже ставьте ссылку Сергей, нам же лучше будет.
Как раз борюсь с дублями =)
Убрал из Robots.txt директивы с этим элементом — «?», из индекса Яндекса дубли выпали, а вот в Гугле пока держатся. Думал редактированием Роботса обойдусь, похоже что ещё потребуются некоторые действия...
Олег, одним роботсом здесь не обойтись, в примере роботса, который показывает Борисов, ты наоборот разрешаешь индексировать практически все на блоге, а запрещаешь уже на самой странице дубля. То есть если просто изменить роботс, это наоборот увеличит количество дублей страниц.
Я этот курс изучал, курс просто супер) Но у меня очень много было дублей и покамест все еще не убрались. Нужно много времени.
да, требуется время, чтобы дубли вылетели из индекса.
Я сделал все по инструкции как у Борисова на сайте написано. Где-то с месяц назад. Ничего так решение. Потихоньку дубли начали выпадать из индекса, сейчас еще репликонтов закрою и тогда можно включать древовидные комментарии будет.
P.S лиж-бы были эти комменты )))
Будут, главное качественный контент и общение с читателями.
Да, дубли страниц — это серьёзная головная боль начинающего блогера. Вроде не думаешь о них, хочется на потом проблему отложить, а они всё дублируются и дублируются прямо пропорционально растущим комментариям на блоге. Вот так, и наступает момент, что ищешь решение и исправляешь всё. Сейчас у меня в Гугле в половину меньше страниц, чем было, и это радует:)))
Стараюсь.
Кстати, сейчас проверил, дублей практически не осталось. Хорошо что почти в самом начале работы сайта сразу закрыл дубли. Месяц назад было дублей в три раза больше, чем записей на сайте. Теперь нету. Пойду ко я еще к Борисову схожу и включу наконец комменты с разветвлениями.
Спасибо за ссылку на урок, Андрей. Почти не разбираюсь в этой теме, а с дублями под фильтры угодить раз плюнуть. Так что пойду учиться!
Удачного обучения!
Тоже читала статью Александра Борисова, за что ему особая благодарность и установила плагин для формы комментариев. Раньше тоже показывало дубли, меня это тоже удивляло откуда они появляются. Александр помог в этом разобраться. По прочтении статьи сразу всё исправила.
Вообще дубли плохая вещь, было в практике такое что поисковики потом могут вместе с дублями и страницы со статей выкидывать из выдачи и тут уж приходиться побегать как следует