укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel canonical
Поиск и устранение дублей: 301 редирект и атрибут rel=“canonical”
301 редирект
301 переадресацию (жарг. «301 редирект») используют при смене URL страницы. Почему этот способ считается лучшим, мы выясним чуть позже, а пока давайте разберемся, как 301 редирект помогает бороться с дублями.
Код статуса 301 означает, что запрашиваемая страница окончательно перемещена в новое местоположение. Поэтому если настроить 301 редирект с дубля на основной документ, дубль пропадет из индекса.
Настройте постраничный 301 редирект:
Атрибут rel=»canonical»
Часто на сайте присутствуют группы страниц с частичным дублированием контента. Например, это могут быть карточки товаров, отличающиеся только отдельными параметрами (например, один и тот же стол с разной длиной столешницы) или страницы блога с одной и той же статьей, но разными URL-адресами.
В этом случае рекомендуется оптимизировать индексацию страниц сайта с использованием атрибута rel=canonical, с помощью которого можно указать предпочитаемый (канонический) адрес, который будет участвовать в поиске. Рекомендация актуальна и для больших, и для маленьких сайтов, но для маленьких часто так и остается только рекомендацией из-за трудностей реализации.
В общем, нужно проанализировать сайт и определить страницы с частично дублированным контентом (страницы с параметрами в URL, дубли одной страницы в разных категориях, похожие товары и проч). Далее из группы похожих страниц выбираем каноническую и добавляем в код неканоничных страниц атрибут rel=»canonical». Желательно, чтобы атрибут ставил автоматически — это существенно облегчит администрирование сайта.
Остается добавить, что из-за несовершенства алгоритмов rel=»canonical» всегда обрабатывается корректно (особенно грешит этим Яндекс). Это приводит к отсутствию «склейки» поведенческих и ссылочных факторов ранжирования. Поэтому надежнее использовать 301 редиректа везде, где это только возможно.
301 редирект или rel=»canonical»?
Остановимся на этой теме подробнее и определим, что и когда лучше использовать.
Ошибки при использовании редиректов
Закрывая тему редиректов, хочется рассказать об ошибках, которых стоит избегать.
Дорвей (от англ. doorway — входная дверь, портал) или входная страница — один из видов поискового спама. Это веб-страница, специально оптимизированная под один или несколько поисковых запросов с целью её попадания на высокие места в результатах поиска по этим запросам и дальнейшего перенаправления посетителей на другой сайт или страницу.
Дорвей не представляет никакой ценности, и пользователь даже не успевает его рассмотреть — его сразу перенаправляют на другой сайт. Контент дорвея, как правило, лишён смысла и генерируется автоматически по специальным алгоритмам (писать руками слишком затратно). Часто это просто набор фраз, в который внедрены ключевые слова.
Дорвеи — это по сути веб-мусор, поэтому все поисковые машины беспощадно с ними борются.
Как и когда использовать 301-й редирект и Canonical
301-м редиректом и атрибутом rel=»canonical» пользуются уже многие годы, но до сих пор возникает путаница и ведутся споры о том, что же лучше. Этот пост о двух главных способах переадресации и о том, как избежать дублирования контента и улучшить позиции сайта в поисковой выдаче.
В чем разница?
Google подготовил руководство пользователя, в котором учит правильно использовать переадресацию. Если кратко, то каждый из нас сообщает Google и другим поисковикам следующее:
301: Привет, Поисковики! Моя страница здесь больше не существует, она переехала на новый адрес. Пожалуйста, проиндексируйте новую страницу и удалите старую.
Canonical: Привет, Поисковики! У меня есть несколько версий одной страницы. Пожалуйста, индексируйте только эту версию и сделайте ее основной. Остальные версии будут видны читателям, но не подлежат индексации.
А теперь о деталях.
301-й редирект
Код состояния 301 протокола http всегда считался стандартным для поддержки окончательной и постоянной переадресации со страницы. Используя эту команду, вы получаете высокую авторитетность ссылок для большинства исходных страниц, а также высокую релевантность и степень ранжирования для страницы, на которую настроена переадресация.
301-й редирект сообщает и пользователям, и поисковикам о том, что исходная страница больше не доступна, а найти наиболее подходящую, обновленную информацию можно по другой ссылке.
301-й редирект и возможные проблемы
Во-первых, настройка кода состояния http может оказаться невозможной, если у вас нет доступа к FTP или серверу.
Еще один минус 301-го редиректа заключается в том, что поисковикам может потребоваться значительное время для индексации новой страницы вместо исходной. Время зависит от того, насколько часто поисковик заходит на ваш сайт и данную исходную страницу. Поэтому вам не стоит рассчитывать на моментальный успех 301-го редиректа и использовать его в кампаниях, требующих быстрого результата.
Проблемы могут возникнуть и в результате неправильной настройки 301-го редиректа. Например, когда вебмастер создает новый сайт, а затем делает переадресацию со всех страниц исходного сайта на главную страницу нового. В результате трафик идет на нерелевантный контент, что провоцирует множество отказов.
Когда нужно использовать 301-й редирект
Canonical
Часто атрибут rel=»canonical» используют как альтернативу 301-му редиректу, однако он представляет собой нечто иное. В отличие от 301-редиректа, который физически направляет пользователя на новую страницу, тег Canonical отдает сигнал исключительно поисковику. Проиллюстрируем примером.
Бывает, что на сайте существует несколько страниц с очень похожим или идентичным контентом. Например, страницы со списками продукции: на одной продукты приведены в алфавитном порядке, на другой – отсортированы по цене. Эти страницы содержат один и тот же контент, но разные URL. Поисковик проиндексирует обе, но вам важно решить, какая из страниц более релевантна и будет участвовать в поисковой выдаче.
Пропишите на странице-копии в директиве атрибут rel=»canonical» и ссылку на ту страницу, которую стоит считать приоритетной:
Canonical и типичные проблемы
Во-первых, несмотря на то, что большинство поисковиков заявляют, что учитывают атрибут rel=”canonical”, фактически они не обязаны следовать этой рекомендации. Это объясняет ту ситуацию, когда в поиске можно видеть страницу-копию выше приоритетной.
Вторая ошибка – использование атрибута rel=”canonical” для страниц с малым процентом похожего содержания. Если на страницах нет значительного количества идентичной информации, Canonical для них использовать не нужно.
Когда использовать тег Canonical
Настройка редиректа может стать настоящей головной болью для новичка. Чтобы лучше освоить теорию и правильно применить знания на практике, вы можете опираться на инструкцию по устранению дублей из этой публикации. Но если вам нужна консультация специалиста, напишите в нашу службу «Персональный менеджер»: мы проанализируем ситуацию с дублями на вашем сайте и поможем от них избавиться правильными методами.
Руководство по работе с канониклами
В этой статье собраны свежие данные на лето 2021 года о канонических страницах. Разобраны все возможные случаи использования атрибута rel=“canonical”. Рассмотрены основные ошибки при работе, а также даны ответы на популярные вопросы.
Определения каноничности
Каноническая страница — это страница, которую поисковая система считает главной в группе схожих по содержимому.
Неканоническая страница — это страница на которой размещен атрибут rel=»canonical» с адресом другой страницы.
Как выглядит атрибут каноникал
Атрибут rel=“canonical” может быть прописан двумя способами:
Какой из этих методов выбрать лучше всего, разберем в главе «Как указать канонический адрес страницы».
Процесс канонизации
Канонизация — это процесс выбора главной страницы среди дублей (одинаковых страниц доступных по разным адресам) и/или среди страниц с похожим контентом.
В подкасте Search Off the Record от 4 ноября 2020 сотрудник Google Мартин Сплитт рассказал, как поисковик обрабатывает канонизацию:
Сначала нужно обнаружить дубликаты, сгруппировать их вместе и отметить, что эти страницы дублируют друг друга. Затем для всех них нужно найти страницу лидера.
На вопрос: «Обнаруживает ли такой метод только точные дубли или частичные тоже?» специалист ответил:
У нас есть несколько алгоритмов, которые пытаются обнаружить и не учитывать шаблонную часть страниц. Так, например, мы исключаем навигацию из расчета контрольной суммы, убираем нижний колонтитул. Тогда у нас остается то, что мы называем центральным элементом, то есть центральное содержимое страницы, что-то вроде самой сути страницы.
После вычисления и сравнения контрольных сумм, те, которые похожи между собой (сильно или частично) мы объединяем в дублирующий кластер.
Далее по словам Мартина, необходимо выбрать один документ из кластера, который и будет показываться в результатах поиска:
Но вычислить какая из них будет ведущей в кластере не так просто. Есть случаи, когда даже людям будет сложно определить, какая именно страница должна отображаться в результатах поиска. Мы используем более 20 сигналов, чтобы решить, какую страницу выбрать как каноническую из дублирующего кластера.
После сравнения всех сигналов для всех пар страниц, мы приближаемся к фактическому определению канонической.
Почему канониклы важны для SEO
1) Поисковики не любят дублирующийся контент, потому что он засоряют выдачу. Так же алгоритмам бывает непросто выбрать правильно главную страницу. Атрибут rel=»canonical» подсказывает какой URL стоит индексировать.
Google и Яндекс заявляют, что они не всегда признают указанный канонический адрес. Из-за того, что теги каноничности считаются подсказками, а не директивами (указаниями). Учитываются различные сигналы (были рассмотрены выше). Грамотное использование тегов каноничности помогает снизить риск того, что робот сочтет канонической не ту страницу.
Атрибут rel=”canonical” и ситуации в которых его следует использовать
Нет времени читать статью?
Но вам требуется продвижение сайта или создание сайта-лидера, идеального для SEO? Тогда вы можете оставить заявку на продвижение или заявку на создание сайта. Если вы собираетесь продвигать сайт самостоятельно — продолжайте чтение!
Если на сайте много дублей, то чаще всего для решения их используют 301 редирект. Ведь мы знаем, что дублирование страниц — главная проблема в оптимизации сайта. Но есть случае, когда использовать 301 редирект не выгодно или не хочется, тогда и приходит на помощь атрибут rel=”canonical”.
Мы постараемся рассказать все об этом атрибуте, когда лучше всего использовать, чтобы решить проблемы с дублем контента.
Как установить rel=”canonical”?
На странице сайта (основной способ)
Чтобы сделать каноническую ссылку, достаточно просто поставить код ниже в head вашего сайта. Именно, чтобы ссылка была на всех страницах, иначе поисковые системы могут игнорировать это изменение.
Через xml-карту сайта
Также есть возможность установки канонической ссылке прямо в карту сайта. Однако для xml-карт внесли изменения, теперь эти рекомендации игнорируются поисковыми системами.
Через ответ сервера (лучше для не html-документов)
Если у вас появилась необходимость установить канонические ссылки для нестандартного типа документов (не html), к примеру pdf-файлы, то вам нужно поставить каноническую ссылку в заголовке ответа сервера. Чтобы когда поисковая система обращалась к похожему материалу, ей выдавал ответ файл на источник
Данный вариант работает только для веб поиска, остальное игнорируется Google.
Когда использовать канонические ссылки?
Если вы точно знаете, когда на вашем сайте есть дубликаты
Если вы уверены, что на вашем сайте есть похожие страницы или дубли контента. Об этом вы можете узнать как сами, так и со слов аудитора, который делает анализ вашего сайта. Если у вас есть две одинаковых страниц, вы должны помочь поисковой системе определить какая из них является главной и важной. Чтобы остальные страницы просто имели канонические ссылки на основную.
Когда трудно или невозможно выполнить 301-редирект
Чаще всего делают простой 301 редирект, однако есть случаи, когда реализовать это трудно и долго. Тогда на помощь приходит использование атрибут rel=”canonical”. Если верить рекомендациям Google, то можно узнать, что передача веса идет также как и по обычному 301 редиректу.
Несколько страниц для одного типа продуктов
Если вы владелец интернет магазина, и есть товары, которые расположены в нескольких категориях. Допустим они отличаются только по цвету, поэтому нужно указывать каноникал для всех, кроме основной.
Для разных видов товаров в каталоге
На некоторых сайтах делают сортировку через параметр сортировки в URL сайта: site.com/dresses.html?sort=price тогда и здесь важно будет поставить ссылки на каталог или страницу, где будет сортировка по умолчанию. То есть прямая ссылка без параметров:
При создании страницы каталога со всеми продуктами
Рекомендации Google говорят о том, что вы предоставляете каноническую ссылку на всех страницах сайта каталога со всеми товарами или статьями, тем самым это делает оптимальный индекс страниц каталога. Чтобы подобное не считалось дублем, часто делают кнопку «посмотреть все» и там на каждой странице ставят каноническую ссылку, в том числе и для пагинации.
Страница печати
Если на сайте есть страница для печати, которая к примеру вызывается дополнительным параметром site.com/news-1.html?print=yes тогда мы ставим каноникал на основную страницу сайта
При использовании партнерской программы на вашем сайте
Если вы используете партнерскую программу или реферальную систему на сайте, тогда канонические ссылки будут очень важны вам. Если это проигнорировать, тогда в индексе появится сотни тысяч ваших дублей страниц, так как поисковые системы будут обходить все страницы без исключения. Например у вас ссылка site.com/dresses.html?partner=dkfEi3dj1 тогда вам нужно прописать на всех страницах сайта
Также вы можете сообщить Google о всех параметрах, которые не стоит индексировать с помощью параметров URL (в разделе «Сканирование», сервиса Google Webmasters). В этом случае вы должны отметить партнерский параметр, чтобы он не менял содержимое страницы.
Для склейки файла индекса каталога
При использовании одинакового контента на разных доменах или различных языковых версиях
Если ваш сайт поддерживает несколько языковых версий одного и того же контента, тогда тоже нужно использовать rel=”canonical” в главной версии контента.
Главные ошибки при использовании rel=”canonical”
Использовать на странице пагинации
Частая ошибка в том, что для некоторых страниц пагинации прописывают только одну серию, то есть первая каноническая страница. Это вызывает ошибку и мешает индексировать остальные страницы.
Каноническая ссылка не индексируется
Когда вы проставляете ссылку на другую страницу своего сайта, нужно учитывать, что она должна быть открыта для индекса. То есть ответ сервера должен быть 200, а также на странице не должны быть тегов для запрета индексации (через мета-тег robots и noindex)
Несколько ссылок rel=”canonical” со страницы
Для одной страницы, должна быть только одна каноническая ссылка, если будет больше — то это нарушение структуры. Проверяйтесь наличие кода, учитываться поисковыми системами будет только первая.
Разные канонические URL-адреса
У вас должна быть одна и также каноническая ссылка для двух разных вариантов, если например вы используете xml-карту сайта или через rel=”canonical” на самой странице.
Неправильное использование относительных ссылок
Всегда для подобного атрибута нужно указывать абсолютные ссылки
если вы будете использовать относительные ссылки, тогда поисковики могут получить ошибку страницы
Тогда поисковые системы просто проигнорируют эти инструкции.
Как правильно использовать атрибут rel = «canonical» и настраивать пагинацию на сайте
Об инструменте rel canonical слышал, пожалуй, каждый SEO специалист, как начинающий, так и опытный. Все дело в том, что настройка каноничности и пагинации — неотъемлемый элемент поисковой оптимизации web-сайта. И осуществляется она за счет правильной простановки тега каноникал.
Поскольку алгоритмы поисковых систем регулярно подвергаются апдейтам, рекомендации по задействованию атрибута rel = «canonical» и настройке пагинации менялись соответственно тому времени. В данной статье мы рассмотрим, что такое каноникал в СЕО, как и когда он используется сейчас, и какие ошибки чаще всего случаются при работе с этим элементом поисковой оптимизации.
Tag canonical в SEO-оптимизации применяется с целью предотвращения дублей контента. Прописывается он на любой веб-странице в хедере онлайн-ресурса, среди тегов head. Благодаря этому поисковые боты воспринимают страницу, где прописан rel = «canonical», как приоритетную, или, как говорят сеошники, каноническую. Именно она отобразится в органической выдаче, и ей будет передан ссылочный вес остальных web-страниц с подобным содержимым. Таким образом, добавив тег canonical, вы укажите каноническую ссылку, что сделает веб-страницу приоритетной для индексирования. В случае, если на сайте имеются онлайн-страницы с идентичным или схожим контентом, доступным по разным URL-адресам, а такое часто встречается в интернет-магазинах, где реализована пагинация товарных страниц, наиболее оптимальным решением станет внедрение rel = «canonical».
Наиболее популярным вариантом использования каноникала является вышеописанный способ. На веб-странице, которую необходимо «запустить» в индекс, между тегами head прописывается полный урл, и таким образом обозначается каноническая ссылка. Для снижения вероятности ошибки рекомендуется после атрибута прописывать вместо относительных URL-адресов абсолютные.
Помимо этого, канонические урлы можно указывать в техническом файле sitemap. Правда, атрибут canonical по факту является для поисковых систем не правилом, а рекомендацией. Поэтому, в случае прописывания в xml-карте веб-сайта, боты-поисковики, скорее всего, проигнорируют его.
Третий вариант — в HTTP-заголовках. Этот способ подходит только в случаях, когда имеется доступ к серверным настройкам. Внедрять его для HTML-страниц — не лучшее решение. С другой стороны, указывать каноничность PDF-файлов через HTTP-заголовок — вполне рабочий вариант.
Настройка каноничности плагином. Для самых популярных CMS уже давно разработаны плагины, помогающие сформировать канонические урл любых страниц. Допустим, в WordPress для этого используется Yoast SEO. В Опенкарт каноничность указывается в опциях движка, правда, только для карточек товаров в разделе SEO URL. В Joomla 3-й версии и старше каноникал включается за счет функционала SEF.
1. Если необходимо предупредить возникновение дублей:
Тег canonical SEO специалистами в таких случаях добавляется на всех статических страницах веб-ресурса.
2. Для устранения дублирования контента. Бывает так, что схожий контент оказывается доступным для индексации по разным урл-адресам. Как правило, этим «страдают» крупные интернет-магазины, которые содержат страницы товаров, размещенных в нескольких меню одновременно либо похожих серийно, но отличающихся цветом, размерами, формой. Для решения проблемы нужно на всех однотипных стр. разместить канонический урл на ключевую, приоритетную для индексации веб-страницу.
3. Когда на сайте есть пагинация. При этом в каталог нужно добавить страницы «Show all», показывающие сразу все товары раздела, блоговые статьи и т.п. Если таковые добавлены на web-сайт, то на каждой стр. пагинации СЕО оптимизаторы размещают канонический URL на «Показать все».
Задействуя тег canonical, придерживайтесь указанных ниже рекомендаций, и тогда ваши манипуляции пойдут сайту на пользу:
Данный метод не принесет ожидаемого эффекта, если применять его к страницам, контент на которых явно отличается. В этом случае поисковые системы не последуют рекомендации, прописанной в теге каноникал. Также простановка rel = «canonical» не сработает, когда нужно склеить страницы с www и без, либо http и https версии онлайн-сайта. Для этих случаев используется постраничный 301 редирект.
Проверить настройку каноникала можно, используя программы для SEO-аудита сайтов, например, Screaming Frog. Интерфейс данного софта содержит отдельный раздел Canonical, где показывается количество страниц с тегом каноникал и без него, а также тех, что имеют канонические урл-адреса.
Какие ошибки чаще всего допускают оптимизаторы при задействовании rel = «canonical»:
Google рекомендует на каждую стр. пагинации размещать каноникал сам на себя, в противном случае, если указать каноничной 1-ю веб-страницу категории или блога, индексация последующих становится невозможной. При размещении в коде страницы нескольких канонических урлов, будет учитываться только первый. Что касается внедрения атрибута различными методами, например, в XML-карте и непосредственно на веб-странице, необходимо указывать один и тот же canonical URL.
Как мы уже писали выше, одним из популярных и доступных вариантов, как настроить пагинацию в интернет-магазине, является генерация страницы «Show all». Она создается и после указывается в качестве канонической для остальных стр. каталога. С точки зрения SEO пагинация, настроенная таким образом, считается эффективной, поскольку данный метод рекомендует Гугл, а значит, он демонстрирует лучший результат для продвижения в этой поисковой системе. Также считается, что посетителям удобно смотреть все товары на одной странице, правда, это работает не всегда. Для комфортного взаимодействия пользователей с сайтом необходима высокая скорость загрузки web-страницы «Show all», не более 3 секунд. Поэтому для онлайн-платформ с тысячами товаров данный метод может не подойти. Также, с некоторыми движками сайтов web-страница «Показать все» может выдавать ошибки, поэтому необходимо заранее определить возможность создания в рамках используемой вами CMS подобных страниц.
Как показывает практика и опыт SEO-оптимизаторов, атрибут rel = «canonical» зарекомендовал себя в качестве полезного и эффективного инструмента продвижения web-платформ в поисковой сети. При корректном использовании он способен улучшить качество работы специалистов и ускорить индексацию сайта, что окажет положительное воздействие на ранжирование продвигаемого онлайн-ресурса.