сервер отвечает редиректом на запрос robots txt что это

Сервер отвечает редиректом на запрос /robots.txt (яндекс)

При переезде сайтом на https
В яндекс вебмастере пишет «сервер отвечает редиректом на запрос /robots.txt »
Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.
Сервер отвечает редиректом на запрос /robots.txt

Яндесу указал на переезд сайта вот что пишет «В ближайшее время в результатах поиска вместо домена volstamp.in.ua появится https://volstamp.in.ua

Если настраивали редирект в Htaccess, сделайте исключение для robots.txt

RewriteEngine On
RewriteCond % =off
RewriteCond % !^/robots.txt
RewriteRule (.*) https://%% [QSA,L]

Спасибо, вот что сделал)

RewriteEngine On
RewriteBase /
RewriteCond % !1
RewriteCond % !robots.txt
RewriteRule ^(.*)$ https://volstamp.in.ua/$1 [R=301,L]

Директива Host известна только Яндексу

User-agent: *
Disallow: /my/
Disallow: /checkout/
Disallow: /cart/
Disallow: /webasyst/
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/

User-agent: Yandex
Disallow: /my/
Disallow: /checkout/
Disallow: /cart/
Disallow: /webasyst/
Disallow: /search/?query=
Disallow: /compare/
Disallow: /tag/
Disallow: *&sort=
Disallow: */?sort=
Disallow: /signup/
Disallow: /login/
Disallow: /forgotpassword/
Host: https://volstamp.in.ua

Добрый день! у меня такая же проблема, не пойму что менять в моем htaccess:

RewriteCond % ^www.odda.com.ua$ [NC]
RewriteRule ^(.*)$ http://odda.com.ua/$1 [L,R=301]

RewriteRule ^(.*)\.tpl$ [R=404]
RewriteRule ^(.*)\.zip$ [R=404]

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *