сервер отвечает редиректом на запрос robots txt яндекс

Сервер отвечает редиректом на запрос /robots.txt (яндекс)

При переезде сайтом на https
В яндекс вебмастере пишет «сервер отвечает редиректом на запрос /robots.txt »
Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.
Сервер отвечает редиректом на запрос /robots.txt

Яндесу указал на переезд сайта вот что пишет «В ближайшее время в результатах поиска вместо домена volstamp.in.ua появится https://volstamp.in.ua

Если настраивали редирект в Htaccess, сделайте исключение для robots.txt

RewriteEngine On
RewriteCond % =off
RewriteCond % !^/robots.txt
RewriteRule (.*) https://%% [QSA,L]

Спасибо, вот что сделал)

RewriteEngine On
RewriteBase /
RewriteCond % !1
RewriteCond % !robots.txt
RewriteRule ^(.*)$ https://volstamp.in.ua/$1 [R=301,L]

Директива Host известна только Яндексу

User-agent: *
Disallow: /my/
Disallow: /checkout/
Disallow: /cart/
Disallow: /webasyst/
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/

User-agent: Yandex
Disallow: /my/
Disallow: /checkout/
Disallow: /cart/
Disallow: /webasyst/
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Host: https://volstamp.in.ua

Добрый день! у меня такая же проблема, не пойму что менять в моем htaccess:

RewriteCond % ^www.odda.com.ua$ [NC]
RewriteRule ^(.*)$ http://odda.com.ua/$1 [L,R=301]

RewriteRule ^(.*)\.tpl$ [R=404]
RewriteRule ^(.*)\.zip$ [R=404]

Источник

Сервер отвечает редиректом на запрос /robots.txt

Доброго времени суток.

После установки ssl сертификата и переезда сайта с http на https в Яндекс.Вебмастере при анализе robot.txt выскакивает ошибка «Сервер отвечает редиректом на запрос /robots.txt». Как быть, чего делать?

С Уважением, Виктор.

4 ответа

Убрать редирект с робоц. Он должен быть доступен и по http и по https
Технически это делается исключением robots.txt из правила редиректа http->https чем бы они у вас не делались.

Я правильно понимаю, исключить robots.txt из правил редиректа можно через файл Htaccess, который находится в корне?

Нашел несколько вариантов директив для этого файла:

1. RewriteEngine off

2. RewriteEngine On

Подскажите пожалуйста, как правильно это сделать?

Незабываем в robots.txt дописать

Разумеется в секции User-agent: Yandex

Добавить ответ

Webasyst — это CMS нового поколения, совмещающая в себе инструменты для управления сайтом и интернет-магазином с полезными приложениями для совместной работы с коллегами и взаимодействия с клиентами. Единый центр управления бизнесом через интернет.

Платформа

Магазин Webasyst

Помощь

Мы получаем и обрабатываем персональные данные посетителей сайта в соответствии с Политикой обработки персональных данных. Отправка персональных данных с помощью любой страницы сайта подразумевает согласие со всеми пунктами Политики.

Источник