Грубейшая ошибка XML карты сайта, которая возможно есть и у вас!

Привет, друзья! Как вы поняли из названия статьи, сегодня я расскажу об одной грубейшей ошибке c индексацией новых статей, которая возможно есть и у вас, если вы используете плагин All In One Seo Pack для генерации карты сайта в формате XML.

Если вы читали мою прошлую статью, то знаете, что я принял участие в SEO конкурсе, по условиям которого нужно вывести статью как можно выше в ТОП. Если не читали, то вот ссылка на конкурсную статью.

С чего я вообще заговорил об ошибке. Дело в том, что я давно заметил, как в индексе поисковых систем появляется много дублей страниц такого вида:

https://nazyrov.ru/ссылка поста.html/название изображения на странице

То есть, если на странице 5 изображений значит, в индексе появляется 5 дублей страниц, которые не содержат контента за исключением одного изображения и его описания. Вот скриншот такого дубля:

Я сначала подумал, что дело в файле robots.txt так как я в нем прописывал принудительную индексацию изображений. Но дело оказалось совсем в другом. Кстати, если не знаете как настроить robots.txt, рекомендую ознакомиться с этой статьей.

Возможно я бы еще долго не придавал этому значения, если бы не конкурс, о котором я упоминал выше.

Перед публикацией статьи, я как всегда добавил текст в Яндекс, для того, чтобы защитить от копирования и ускорить индексацию, и сразу после публикации добавил страницу в аддурилку гугла.

Прошло два дня, и в поиске гугла появилась страница по запросу «как я пришел в блогосферу». Появится то появилась, да только не основная страница, а ее дубликат, причем аж на 47 позиции. А где же еще быть пустой странице 🙂 И это в то время, как самые сильнейшие «конкуренты» уже были в ТОПе.

Я уже собирался просить совета на форумах, как вдруг подумал, дай ка я проверю карту сайта. И что вы думаете? В карте десятки ссылок на подобные страницы. Получается я сам направляю поисковых роботов на дубликаты, ведь роботы поисковых систем в первую очередь ориентируются по карте сайта XML. А самое интересное, что в этой карте на дубликате стоял приоритет перед основной страницей.

А вся эта канитель получилась из-за банальной невнимательности при настройке карты сайта в плагине All In One Seo Pack. Может это произошло при очередном обновлении, не знаю.

Как проверить есть ли у вас такая ошибка с индексацией страниц? Элементарно. Откройте настройки карты сайта XML.

Теперь давайте проверим все настройки. Сразу скажу, что у меня стоит версия 2.2.6 если у вас другая, то настройки могут несколько отличаться.

Итак, поехали.

1. Префикс файла. Это название ссылки по которой будет доступна карта сайта. Я рекомендую вписать стандартное – sitemap.

2. Уведомлять Google и Bing. Здесь обязательно должны стоять галочки. Благодаря этой настройке, при появлении новой статьи, будет отправляться уведомление поисковым системам, что соответственно ускорит индексацию.

3. Включить Sitemap Indexes. Если поставить здесь галочку, то карта сайта будет разбита на несколько файлов. Поэтому ни в коем случае не делайте этого, если у вас менее 50 000 страниц.

4. Типы записей. А вот та самая грубейшая ошибка, о которой я говорил с самого начала. В данном разделе мы указываем ссылки на какие страницы должны присутствовать в карте сайта XML. По логике вещей для блога это записи и страницы. А я когда-то поставил галочку на все типы записей, вследствие чего начали индексироваться медиа, что соответственно неправильно. Теперь придется из индекса Google удалять около пятисот проиндексированных страниц, или ждать пока он сам их выкинет.

Обязательно проверьте у себя, чтобы в разделе «Медиа/Вложения» у вас отсутствовала галочка! Исключением являются сайты-галереи.

5. Таксономии. Поставив здесь галочки, вы отправляете в sitemap.xml ссылки на рубрики и метки.

6. Включать архивы за день и страницы авторов не стоит. Во избежание опять же дублей страниц.

7. Создать сжатую версию карты. Кто пользовался когда-то плагином Google XML Sitemap, помнит что нужно было архивировать карту и закидывать его в корень сайта, а в файле robots.txt прописывать к нему путь. В итоге в файле robots.txt были две ссылки, одна из которых вела на архивированную сжатую версию карты, вторая на основную. В плагине All In One Seo Pack все гораздо умнее. При запросе поисковым роботом XML карты сайта, плагин автоматически генерирует сжатую карту и предоставляет роботу.

8. Ссылка на карту из robots.txt. Обязательно поставьте галочку, если ее у вас еще нет. Присутствие такой ссылки обязательное условие для оптимизированного блога.

9. Динамическая карта сайта. Тоже нужно поставить галочку. Вы ведь регулярно обновляете блог новыми записями, следовательно и карта у вас должна быть динамическая.

10. Noindex Sitemap file. Этой опцией можно запретить индексировать карту. Не могу понять зачем вообще разработчики внедрили эту функцию. Если вы ставили здесь галочку, срочно убирайте!

В дальнейших настройках можно указать исключенные страницы, это те, которые вы хотите запретить индексировать. Но это больше рекомендация для робота, а не обязательное условие.

P.S. Я не просто так рассказал об этой ошибке, чтобы повыпендриваться. Буквально через день после исправления, статья оказалась в ТОП 1 Яндекса.