редирект robots txt https
Рекомендации по переходу на HTTPS
02 августа 2016. Категория: Нужно знать!
Переход сайта с протокола HTTP на HTTPS, во многих случаях, проходит крайне болезненно. Проявляется этот факт ухудшением видимости сайта в поисковой выдаче, которая влечет за собой потерю занимаемых позиций страниц сайта, а также уменьшение их посещаемости пользователями.
Именно потому необходимо не только уметь грамотно осуществлять переход сайта на использование защищенного протокола передачи данных, но и корректно сообщать об этом поисковым системам.
Общие рекомендации по переходу на HTTPS
После получения и подключения сертификата безопасности к сайту, необходимо придерживаться следующих инструкций:
1) Добавляем HTTPS версию сайта в форму addurl («Переобход страниц»), нажав на ссылку «Добавить новый сайт» в сервисе Яндекс.Вебмастер;
3) Сообщаем об изменении главного зеркала в разделе Яндекс.Вебмастер «Переезд сайта», выбрав свой сайт и поставив галочку «Добавить HTTPS».
4) Ждем пока главное зеркало будет определено (на это может уйти несколько недель). Как только это произойдет, Вы получите сообщение в Яндекс.Вебмастер о том, что главное зеркало изменено на вариант с HTTPS. Пока ожидаем определение зеркал, добавляем сайт с HTTPS в учётную запись Google Search Console и подтверждаем права собственности.
5) После того, как сайты будут признаны зеркалами, нужно сделать редирект с неглавного зеркала на главное (с http на https). На этом моменте становимся чуть подробнее, т.к. тут имеются определенные нюансы.
Как правило используется несколько вариантов редиректа, например:
Для исправления данной ошибки необходимо задать правила перенаправления с исключениями. Выглядеть это будет так:
Robots.txt, карта сайта, 301 редирект
В данной статье рассмотрим:
Что такое robots.txt
Файл robots.txt на платформе AdvantShop
Файл robots.txt уже изначально есть в административной части вашего интернет-магазина. В нем указаны стандартные настройки robots.txt интернет-магазина для поисковой системы Яндекс (отдельно) и для всех остальных поисковых систем. Вы можете самостоятельно вносить в него изменения в соответствии с вашими индивидуальными требованиями к индексированию сайта.
Как настроить файл robots.txt на платформе AdvantShop
Рисунок 1.
Рисунок 2.
После внесения изменений, нажмите кнопку «Сохранить».
Как правильно заполнить файл robots.txt и проверить его корректность?
В большинстве случаев стандартный текст файла robots.txt, уже заданный платформой AdvantShop, является достаточным и не требует внесения каких-либо изменений. Во избежание каких-либо ошибок, мы рекомендуем вам обратиться к SEO-специалисту для внесения каких-либо правок в данный файл.
Также, обратите внимание на регистр букв, к примеру, директивы
Disallow: /registration.aspx
и
Disallow: /Registration.aspx
обрабатываются поисковыми системами как разные страницы.
Корректность файла robots.txt для поисковой системы Яндекс Вы можете проверить в панели Вебмастер Yandex (в сервисе необходимо авторизоваться под своим логином и паролем). Для других поисковых систем используйте соответствующие панели (также с предварительной авторизацией), к примеру, Google Webmaster Tools и Bing Webmaster.
Закрытие от индексации дублей страниц
Дубли страниц в каталоге, которые могут появиться при фильтрации или постраничном просмотре (пагинации), по-умолчанию уже закрыты от индексации следующими директивами:
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Пример файла robots.txt для полного закрытия сайта от индексации:
Мы настоятельно не рекомендуем Вам закрывать сайт от индексации без консультации SEO-специалиста, так как это может очень негативно сказаться на индексации сайта и его позициях в поисковых системах.
Директива Sitemap
Директива Sitemap служит для указания адреса карты сайта в формате xml для поисковых роботов. При её указании необходимо прописать полный адрес карты сайта xml, с указанием протокола http (или https). Данная директива должна располагаться после всех директив в файле robots.txt, с отступом в одну строку. Пример:
Пример файла robots.txt для обычной работы интернет-магазина на платформе AdvantShop:
User-agent: Yandex
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
Disallow: /fogotpassword
Disallow: /compare
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
Disallow: /tools/
Disallow: /login
Disallow: /preorder
User-agent: *
Disallow: *?type=*
Disallow: *?letter=*
Disallow: *brandid=*
Disallow: *pricefrom=*
Disallow: *priceto=*
Disallow: *prop=
Disallow: /newscategory$
Disallow: /fogotpassword
Disallow: /compare
Disallow: /myaccount
Disallow: /checkout
Disallow: /registration
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout/billing
Disallow: /tools/
Disallow: /login
Disallow: /preorder
Запись вида <имя домена>необходимо заменить (вместе с фигурными скобками) на адрес вашего магазина.
Карта сайта (Sitemap)
Карта сайта (sitemap) – это файл, который необходим для корректной и своевременной индексации сайта в поисковых системах. С помощью карты сайта Вы можете сообщить поисковой системе, какие страницы Вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.
В магазине карта сайта автоматически формируется в формате HTML и в формате XML.
В формате HTML карта сайта создается для посетителей, чтобы облегчить им поиск необходимой информации. В формате XML карта сайта создается для поисковых роботов, чтобы поисковый робот увидел ссылки на все страницы, которые есть на сайте.
Рассмотрим, как сгенерировать в магазине карту сайта в формате HTML и XML, и как сообщить поисковым системам о наличии карты сайта в интернет магазине
Формирование карты сайта HTML
Формирование карты сайта XML
Регистрация карты сайта в поисковых системах
Формирование карты сайта XML и карты сайта HTML
Рисунок 3.
На открывшейся странице необходимо выбрать вкладку » Карта сайта» и нажать на кнопку «Обновить карты» (см. рис.4, п.2), Ваши карты сайта будут обновлены.
Рисунок 4.
Для перехода к сгенерированным картам сайта в строках «Адрес карты XML» и «Адрес карты HTML» нажмите ссылку карты (см. рис.3, п.3-4).
Обновление карт сайта XML и HTML происходит раз в сутки в автоматическом режиме.
Регистрация карты сайта в поисковых системах
После формирования карты сайта, необходимо сообщить поисковым системам о наличии файла sitemap. Для этого нужно совершить следующие действия:
Добавить директиву sitemap в файл robots.txt. Данная директива имеет вид Sitemap: http://site.ru/sitemap.xml (где site.ru – адрес вашего веб-сайта) и прописывается (предпочтительно) в конце документа с новой строки.
Указать URL файла sitemap в Yandex.Вебмастере и Google.Вебмастере.
Рисунок 5.
Вставьте в файл robots.txt, предпочтительно в конце, строку, указывающую на местоположение файла Sitemap (см. рис. 6):
Рисунок 6.
После внесения изменений, нажмите кнопку «Сохранить» в правом верхнем углу.
Чтобы указать URL карты сайта для поисковых систем, совершите следующие действия:
Рисунок 7.
Для ПС Google – Зайдите в раздел «Сканирование»- «Файлы Sitemap» сервиса Google Webmaster Tools, после чего нажмите на кнопку «добавление/проверка файла sitemap» и укажите путь к своему файлу sitemap.xml. Обратите внимание, что адрес самого домена уже будет указан в соответствующей строке.
После этого нажмите кнопку «Тест», и если ошибок не будет обнаружено – кнопку «Отправить».
Рисунок 8.
Готово, мы рассмотрели, как настроить карты сайта.
301 редирект
Суть «301-го» редиректа (перенаправления с кодом ответа 301) в том, чтобы сообщить пользователю или поисковому роботу информацию о том, что страница, которую он открывает по определённому URL-адресу, перемещена на другой URL-адрес. На практике это выглядит так: пользователь вводит URL-адрес, для которого настроен 301 редирект, и попадает на другой URL-адрес (необходимый Вам).
В каких случаях нужен 301 редирект?
Зачастую происходит следующая ситуация: сайт существовал по определённому URL, и все ссылки на его страницы хорошо проиндексировались поисковыми системами; пользователи находили через поиск страницы сайт и переходили на них. Однако однажды владелец решил изменить свой сайт и переехал на новую CMS, которая формирует ссылки на статьи, товары и категории по новому алгоритму.
Если, к примеру, раньше условная статья об условном продукте «Продукт 1» была вида:
mysite.com/category111/product222/product1/
то на новом, условном, сайте новая ссылка условно стала:
mysite.com/product/superduperproduct1/
Получается, что в поисковой системе сохранилась старая ссылка, и при переходе по ней пользователь видит страницу 404 (не найдена).
В таком случае, как и в ряде других, нужна переадресация с одной ссылки на другую, или, как это называется, «301 редирект».
Итак, переадресация с кодом 301 обычно нужна в следующих случаях:
1) У Вас есть статья, товар или категория, которая изменила свой URL
2) Хотите настроить переадресацию с «www» на «без www» или наоборот
3) У Вас есть ещё один домен, и вы хотите, чтобы посетители с него перенаправлялись на «основной домен» (важно для SEO)
4) Любой из пунктов 1-3, но при этом у вас ещё и кириллический домен (мойсуперсайт.рф или подобный)
Где находится настройка 301 редиректа?
Рисунок 9.
В магазине на базе AdvantShop 301 редирект представлен в виде таблицы, с колонкой «Откуда» и колонкой «Куда». Указываем старый URL, указываем новый URL, после чего перенаправление работает.
В таблице также представлена ещё третья, необязательная, колонка «Артикул товара (необязательно)». О ней расскажем отдельно ниже.
Чтобы включить работу редиректов, поставьте галочку «Активность 301 редиректа» (рис. 9).
Рисунок 10.
Как добавить/редактировать/удалить 301 редирект?
Рисунок 11.
Для редактирования записи кликните на неё один раз. Строчка превратится в поля для редактирования. Внесите изменения и кликните на любом пустом месте страницы, чтобы сохранить изменения.
Чтобы удалить запись, нажмите на кнопку крестика и подтвердите удаление.
Далее рассмотрим несколько примеров.
Пример 1. У Вас есть статья, товар или категория, которая изменила свой URL
Например, мы сменили CMS интернет-магазина, и теперь нужно как-то направить пользователей со старых ссылок на новые. Со старой ссылки настроим редирект на новую.
Нужно направить на:
Так и добавим данные в таблицу (рис. 12).
Рисунок 12.
Если мы работаем в рамках одного сайта, мы можем использовать относительные ссылки(рис 5.1).
Мы можем не писать адрес сайта, а указать сразу фрагмент ссылки, которая идет за адресом.
В поле «откуда» вместо «http://site5.ru/staraya-ssilka» мы можем написать лишь «staraya-ssilka».
В поле «куда» вместо «http://site5.ru/novaya-ssilka» мы можем написать лишь «novaya-ssilka».
Рисунок 13.
В обоих случаях при переходе по старой ссылке http://site5.ru/staraya-ssilka нас «перебросит» на новую ссылку.
Обратите внимание, что одна запись работает для одной ссылки, и если нужно перенаправить ссылки для 10 товаров, нужно добавить 10 записей, аналогично той, которую мы добавили выше.
Пример 2. Переадресация с «www» на «без www» или наоборот
Для решения этой проблемы Вам нужно определить, какой адрес будет главным, и со второстепенного настроить 301 редирект на основной.
Если мы решили, что www.site5.ru будет главным, то настраиваем запись так:
с http://site5.ru* на http://www.site5.ru (с сайта без WWW переходить на сайт с WWW)
Рисунок 14.
Если решили, что site5.ru (без WWW) будет главный, то настраиваем запись так:
с http://www.site5.ru* на http://site5.ru (с записи с WWW переходить на сайт без WWW)
Рисунок 15.
Знак звездочки » * » в конце домена означает, что все URL, которые начинаются с домена, будут перенаправлены на новый домен.
Пример 3. У Вас есть синоним домена и нужно перенаправить пользователя на «основной домен»
Бывают ситуации, когда у Вас есть 2 разных доменных имени, которые подключены к одному и тому же сайту. Т.е. по обоим доменам открывается один и тот же магазин. Такое бывает, когда владельцы сайта докупают домен, к примеру, с тире в названии (например, moysait.ru и moy-sait.ru), чтобы пользователи, набравшие адрес с тире, также попали на Ваш сайт.
Для поискового продвижения важно, чтобы сайт был доступен по «основному домену», и с остальных доменов был настроен 301 редирект.
Итак, мы определились, что условный адрес «http://site5.ru» (без www) будет нашим главным доменом, и будем ссылаться на него.
1) В поле «откуда» написать адрес сайта с http:// и добавить знак звездочки » * » в конце.
Чтобы получилось: http://site5. com *
2) В поле «куда» написать адрес сайта, куда направлять, также с http://, но без звездочки.
Чтобы получилось http://site5. ru
Рисунок 16.
Такой же вариант подходит, если нужно сделать пренаправление с http://site-5.ru на http://site5.ru (с домена «с тире» на домен «без тире»).
Рисунок 17.
Пример 4. У Вас кириллический домен. Как в этом случае настроить редирект?
Рисунок 18.
Нужно скопировать содержимое из скобок и вставить в поле «откуда». Впереди символов указывается «http://», в конце также пишется » * » (звездочка), если редирект нужен для всех страниц сайта(рис. 19).
Кириллическая ссылка выглядеть будет так:
http://XN—80AAIRFBUBOC.XN—P1AI
Ссылка на страницу соответственно:
http://XN—80AAIRFBUBOC.XN—P1AI/pages/page1
Т.е. все настройки производятся так же, как и с обычным доменом, но вместо кириллицы указывается определённый набор символов.
Рисунок 19.
Пример 5. Переадресация с «http» на «https»
В ситуации, когда на Вашем сайте установлен SSL сертификат, т.е. на сайте есть https-соединение, достаточно создать три записи редиректа.
— В поле «откуда» написать адрес сайта с http:// и добавить знак звездочки » * » в конце. Чтобы получилось: http://site.ru*
— В поле «куда» написать адрес сайта, для которого установлен SSL сертификат. Если это домен без www, то нужно написать http s ://, но без звездочки, чтобы получилось http s ://site.ru
2) Второе правило. Аналогично создаем вторую запись, уже с http://www.домен на https:
— В поле «откуда» написать адрес сайта с http:// и добавить знак звездочки » * » в конце. Чтобы получилось: http://www.site.ru*
— В поле «куда» написать адрес сайта, для которого установлен SSL сертификат. Если это домен без www, то нужно написать http s ://, но без звездочки, чтобы получилось http s ://site.ru
3) Третье правило. Большинство новых сертификатов поддерживают как просто «https://site.ru» так и вариант «https://www.site.ru» (с www), то получится, что для поисковых машин у нас есть 2 одинаковых сайта. Чтобы избежать дублирования, добавим ещё одно правило.
— В поле «откуда» написать адрес сайта с http s :// и добавить знак звездочки » * » в конце. Чтобы получилось: http s ://www.site.ru*
— В поле «куда» написать адрес сайта, для которого установлен SSL сертификат. Если это домен без www, то нужно написать http s ://, но без звездочки, чтобы получилось http s ://site.ru
Рисунок 20.
Если Вы приобретаете SSL-сертификат только для платёжных систем или для работы в соц. сетях, настраивать подобный редирект в большинстве случаев нет необходимости.
После перехода сайта на https и настройке 301 редиректа с http на https позиции сайта в поисковых системах понижаются на некоторый период времени. К сожалению, это неизбежный эффект, который зависит от работы самих поисковых систем.
Для чего нужна необязательная колонка «Артикул товара»?
Дополнительная третья колонка добавлена для замены, в некоторых случаях, колонки «куда».
Если на Вашем новом сайте у товара сменится URL (по сравнению с URL на старом сайте), то, чтобы регулярно не «следить» за новыми ссылками на товар и корректировать их в таблице 301-го редиректа, можно использовать колонку «Артикул товара».
В ней достаточно указать артикул товара, и старая ссылка всегда будет ссылаться на актуальный текущий URL товара.
Настройка выглядит так:
Рисунок 21.
Все три ссылки работают по принципу «направить нашу ссылку на URL товара, при условии, что мы знаем только артикул товара».
Массовая загрузка 301 редиректа
Рассмотрим, как можно осуществить экспорт или импорт 301 редиректа в интернет-магазине.
Формат файла
Файл в формате CSV представлен на рисунке ниже (рис.22).
Рисунок 22.
В файле 3 столбца, которые дублируют 3 колонки в панели администрирования:
RedirectFrom – столбец «Откуда», т.е. ссылка, которую требуется заменить, переадресовать.
RedirectTo – столбец «Куда», актуальная ссылка, на которую требуется сделать редирект (перенаправление страницы).
ProductArtNo – артикул товара, добавлена для замены, в некоторых случаях, колонки «куда».
Импорт
Рисунок 23.
Рисунок 24.
Рисунок 25.
В открывшемся окне выберите файл для импорта, нажмите «Открыть», и данные из файла автоматически появляются в списке 301 редиректа (рис. 26).
Рисунок 26.
Экспорт
Рисунок 27.
Рисунок 28.
Файл скачивается на Ваш компьютер в формате, описанном выше.
Примечание.
Обновление данных или добавление новых строк из файла происходит по столбцу «RedirectFrom» («Откуда»).
При загрузке файла на сайт происходит проверка: если ссылка из RedirectFrom уже присутствует на сайте в столбце «Откуда», то она обновляется теми данными, которые пришли в новом файле; если ссылки из RedirectFrom нет на сайте в столбце «Откуда», то строка с данными из файла добавляется в качестве новой строки со значениями на сайт.
Рассмотрим на примере.
В файле строка вида (рис.29):
Рисунок 29.
Рисунок 30.
Если значение есть (как в нашем примере “login.aspx”), строка обновляется. А именно: в столбец “Куда” записывается значение из файла “RedirectTo” (рис.31).
Рисунок 31.
Если значения нет, то строка добавляется (рис.32,33).
Рисунок 32.
Рисунок 33.