проверка кода ответа сервера и редиректа

Массовая проверка цепочек редиректов

Список URL (макс. 10. Снять ограничение. ) ↓

Для чего предназначен инструмент проверки редиректов?

Инструмент массовой проверки цепочек HTTP-редиректов (коды ответы сервера 301 и 302) позволяет пользователю проверить, содержит ли URL-адрес редиректы и отобразить коды состояния HTTP и URL-адреса назначения редиректов.

Для каждого URL инструмент проверяет до 5 цепочек редиректов.

Что такое «редирект»?

Редирект – автоматическое перенаправление посетителей на новый URL. Циклический редирект может нанести вред SEO-оптимизации сайта и снизить его позиции в SERP.

Что такое цепочки перенаправлений (редиректов)?

Цепочка редиректов – это переадресация не в один, а в более чем два этапа. Эксперты спорят об их вредности: до 5 переходов являются не очень вредными, так как поисковые роботы способны их преодолеть.

Но для эффективного продвижения сайта цепочек не должно быть на сайте вообще (в идеале). Цепочка редиректов может привести к циклическому перенаправлению, если она настроена неправильно. А это негативно скажется на результатах ранжирования подобных страниц.

Причиной появления цепочек редиректов могут быть вирусы на сайте. В таком случае поисковые системы могут посчитать ваш сайт небезопасным для пользователей и заблокировать его отображение в поисковой выдаче.

Типы перенаправлений

Редиректы существуют в нескольких формах, назовем два основные из них: временный и постоянный. Код 301 сообщает, что страница была перемещена на новый адрес постоянной основе, а 302 редирект аналогично работает для временного перенаправления.

Как цепочки редиректов влияют на продвижение:

Устранение цепочек редиректов

Цепочки – это > 2 перенаправлений с одной страницы. Их желательно избегать, так как они негативно влияют на продвижение: увеличивают время загрузки контента, тратят краулинговый бюджет, «крадут» вес ссылок, а также могут привести сайт к циклическому перенаправлению.

С помощью нашего бесплатного инструмента можно быстро выяснить причину и понять, почему происходят перенаправления на страницах вашего сайта.

Источник

Проверка кода ответа страницы сервера

Инструмент предназначен для отображения кода ответа HTTP страницы, который отдает сервер взамен на запрос, он позволяет определить доступность анализируемой страницы.

Для проверки кода ответа ресурса необходимо ввести его URL адрес в строку проверки, робот зайдет на страницу и выведет отдаваемый ей код ответа. Что он означает, можно узнать из таблиц.

Коды ответа страницы сервера

Успешный запрос ресурса. Если клиентом были запрошены какие-либо данные, то они находятся в заголовке и/или теле сообщения.

В результате успешного выполнения запроса был создан новый ресурс. Сервер должен указать его местоположение в заголовке Location. Серверу рекомендуется дополнительно указывать в заголовке характеристики созданного ресурса (например, в поле Content-Type). Если сервер не уверен, что ресурс действительно будет существовать к моменту получения данного сообщения клиентом, то лучше использовать ответ 202.

Запрос был принят на обработку, но обработка не завершена. Клиенту не обязательно дожидаться окончательной передачи сообщения, так процесс может оказаться очень долгим.

Аналогично ответу 200, но в этом случае передаваемая информация была взята не из первичного источника (резервной копии, другого сервера и т. д.) и поэтому может быть неактуальной.

Сервер успешно обработал запрос, но в ответе были переданы только заголовки без тела сообщения. Клиент не должен обновлять содержимое документа, но может применить к нему полученные метаданные.

Сервер обязывает клиента сбросить введенные пользователем данные. Тела сообщения сервер при этом не передаёт и документ обновлять не обязательно.

Сервер удачно выполнил частичный GET возвратив только часть. В заголовке Content-Range сервер указывает байтовые диапазоны содержимого. Особое внимание при работе с подобными ответами следует уделить кэшированию.

Сервер передаёт результаты выполнения сразу нескольких независимых операций. Они помещаются в само тело сообщения в виде XML-документа с объектом multistatus.

Заголовок A-IM от клиента был успешно принят и сервер возвращает содержимое с учетом указанных параметров.

Коды 3xx (перенаправление)

Затребованный URL обозначает более одного ресурса, и робот не смог однозначно определить, к какой странице URL относится (получен код 300 Multiple Choices).

Исправьте заголовки или укажите ресурс правильно, и тогда робот сможет проиндексировать страницу.

Документ уже не используется сервером, а ссылка перенаправляет на другую страницу (получен код 301 Moved Permanently).

Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Запрошенный ресурс временно находится под другим адресом (получен код 302 Found).

Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.

Запрошенный ресурс находится под другим адресом, и его следует запрашивать, используя метод GET (получен код 303 See Other). Если вы хотите, чтобы указанная страница находилась в поиске, она должна отвечать кодом 200.

Получен код 304 Not Modified. Если страница не изменилась с момента последнего обращения робота, рекомендуется выдавать этот код. Это ускорит индексирование и уменьшит трафик.

Доступ к затребованному ресурсу может осуществляться только через прокси-сервер, указанный в заголовке Location (получен код 305 Use Proxy).

Затребованный ресурс был временно переведен на другой адрес, который необходимо прописать в Location (получен код 307 Temporary Redirect).

Коды 4xx (ошибка клиента)

Запрос не может быть понят сервером из-за некорректного синтаксиса (получен код 400 Bad Request).

Для доступа к документу необходимо вводить пароль или быть зарегистрированным пользователем (получен код 401 Unauthorized).

Внутренняя ошибка или ошибка конфигурации сервера (получен код 402 Payment Required).

Доступ к документу запрещен (получен код 403 Forbidden). Если вы хотите, чтобы страница индексировалась, необходимо разрешить доступ к ней.

Документ не существует (получен код 404 Not Found). Если вы удалили какой-то раздел сайта, можно с помощью robots.txt запретить роботу обращаться к нему. Если такой страницы на сайте никогда не существовало, игнорируйте эту ошибку, возможно, кто-то поставил некорректную ссылку на ваш сайт.

Метод, определенный в строке запроса (Request-Line), не дозволено применять для указанного ресурса, поэтому робот не смог его проиндексировать (получен код 405 Method Not Allowed).

Нужный документ существует, но не в том формате (язык или кодировка не поддерживаются роботом). Получен код 406 Not Acceptable.

Необходима регистрация на прокси-сервере (получен код 407 Proxy Authentication Required).

Сайт не передал полный запрос в течение установленного времени и робот разорвал соединение (получен код 408 Request Timeout).

Запрос конфликтует с другим запросом или с конфигурацией сервера (получен код 409 Conflict).

Затребованный ресурс был окончательно удален с сайта (получен код 410 Gone).

Сервер отказывается принимать запрос без определенного заголовка Content-Length (получен код 411 Length Required). Поправьте заголовки на своем сервере — тогда в следующий раз робот сможет проиндексировать страницу.

При проверке на сервере одного или более полей заголовка запроса обнаружено несоответствие (сбой или ошибка при обработке предварительного условия). Получен код 412 Precondition Failed.

Сервер отказывается обрабатывать запрос потому, что размер запроса больше того, что может обработать сервер (получен код 413 Request Entity Too Large).

Сервер отказывается обслуживать запрос, потому что запрашиваемый роботом URI (Request-URI) длиннее, чем сервер может интерпретировать (получен код 414 Request-URI Too Long).

Сервер отказывается обрабатывать запрос, потому что тело запроса имеет неподдерживаемый формат (получен код 415 Unsupported Media Type).

Сервер отказывается обрабатывать запрос, потому что значение поля Range в заголовке запроса указывает на недопустимый диапазон байтов (получен код 416 Requested Range Not Satisfiable).

Сервер отказывается обрабатывать запрос, потому что значение поля Expect в заголовке запроса не соответствует ожиданиям (получен код 417 Expectation Failed).

Сервер не в состоянии обработать один (или более) элемент запроса (получен код 422 Unprocessable Entity).

Сервер отказывается обработать запрос, так как один из требуемых ресурсов заблокирован (получен код 423 Locked).

Сервер отказывается обработать запрос, так как один из зависимых ресурсов заблокирован (получен код 424 Failed Dependency).

Сервер запросил апгрейд соединения до SSL, но SSL не поддерживается клиентом (получен код 426 Upgrade Required).

Коды 5xx (ошибка сервера)

Сервер столкнулся с непредвиденным условием, которое не позволяет ему выполнить запрос (получен код 500 Internal Server Error).

Сервер не поддерживает функциональные возможности, требуемые для выполнения запроса (получен код 501 Not Implemented). Этот ответ соответствует состоянию, когда сервер не распознает метод запроса и не способен обеспечить его для любого ресурса.

Сервер, действуя в качестве шлюза или прокси-сервера, получил недопустимый ответ от следующего сервера в цепочке запросов, к которому обратился при попытке выполнить запрос (получен код 502 Bad Gateway).

Возникла ошибка из-за временной перегрузки или отключения на техническое обслуживание сервера (получен код 503 Service Unavailable).

Сервер, при работе в качестве внешнего шлюза или прокси-сервера, своевременно не получил отклик от вышестоящего сервера, к которому он обратился, пытаясь выполнить запрос (получен код 504 Gateway Timeout).

Сервер не поддерживает или отказывается поддерживать версию HTTP-протокола, которая используется в сообщении запроса робота (получен код 505 HTTP Version Not Supported).

Сервер не может обработать запрос из-за недостатка места на диске (получен код 507 Insufficient Storage).

Сервер не может обработать запрос из-за того, что запрашиваемое расширение не поддерживается (получен код 510 Not Extended).

Источник

Как легко проверить код ответа сервера? Понятно о HTTP status code

Читайте этот пост на английском языке

Поделиться этим постом

Все мы боимся слышать, что у нас на сайте есть битые ссылки, но как их быстро найти и убрать? Какой именно редирект поставить, если теперь у тебя все URL начинаются с www? Как собрать все четырёхсотые и пятисотые? Предлагаю обо всём поговорить по порядку.

Самая простая задача — проверка кода ответа сервера. Следующий шаг — запомнить классы ответов сервера, а после этого — каждый код ответа. Всего есть 5 классов и несколько десятков кодов, из которых только несколько действительно стоит знать и помнить без помощи Google.

1. Кратко о том, что такое код ответа сервера

Каждый раз, когда ты кликаешь по ссылке или вводишь URL в адресную строку, ты отправляешь запрос к серверу. Он обрабатывает его и формирует ответ, в котором начальная часть показывает код состояния сервера.

Код ответа сервера (или код состояния HTTP) — это первые три цифры и фраза на английском языке, которые дают понять пользователю (браузеру), краулеру и поисковому роботу, как сайт отреагировал на запрос к определённой странице или документу. Например, код ответа страницы 200 OK говорит сам за себя: «Всё ОК, ты обратился по нужному адресу».

Все коды ответов разделены на 5 классов, и отличает их первая цифра:

2. Как проверить код ответа страницы?

Проверки кода ответа сервера есть множество способов: панель инструментов разработчика в браузере ( F12 + вкладка «Network»), плагины в браузере, специальные онлайн-службы, различные SEO-сервисы. Но я всё таки работаю в Netpeak Software, так что покажу, как это сделать с помощью нашего инструмента Netpeak Spider.

Зарегистрировались, скачали Netpeak Launcher, установили Netpeak Spider, запустили его. Дальше есть выбор в зависимости от твоих задач:

2.1. Проверка кода ответа сервера на всех страницах сайта

В основном интерфейсе программы введи URL твоего сайта и нажми кнопку «Старт». После завершения сканирования ты увидишь все коды ответа в соответствующей колонке таблицы.

Страницы, которые ответили 4хх и 5хх кодами ответа, будут собраны в отдельный отчёт по этим ошибкам. Когда ты нажмёшь на ошибку на боковой панели, программа соберёт отчёт исключительно по таким страницам.

Дальше ты можешь посмотреть все страницы на твоём сайте, которые ведут на такие 4хх и 5хх страницы. Замени эти ссылки на рабочие страницы, и ты избавишься от страшного сна — битых ссылок на твоём сайте. Вызови для этого контекстное меню правой кнопкой мыши и кликни по разделу «Входящие ссылки». Дополнительно там можно:

Быстро проверять коды ответа сервера страниц сайта вы можете даже в бесплатной версии Netpeak Spider без ограничений по времени. Также во Freemium-версии доступны и другие базовые функции программы.

Чтобы начать пользоваться бесплатным Netpeak Spider, просто зарегистрируйтесь, скачайте и установите программу — и вперёд! 😉

P.S. Сразу после регистрации у вас также будет возможность потестировать весь платный функционал, а затем сравнить все наши тарифы и выбрать для себя подходящий.

2.2. Массовая проверка кодов ответа сервера по списку страниц

Если перед тобой стоит задача массово проверить список страниц различных сайтов, рекламных кампаний или просто отдельных страниц, можешь добавить эти страницы в программу:

Нажми после этого «Старт», и программа начнёт сканирование этого списка URL.

Кстати, вот ещё одно удобство! Если нужно получить только коды ответов HTTP, выключи все остальные параметры на боковой панели. А если нужен более информативный отчёт с определённым набором параметров — выбери нужные и запускай сканирование.

3. От сервера пришёл ответ с кодом ххх — что это значит?

Давай разберём отдельно самые популярные HTTP коды ответа, чтобы понять их назначение.

200 ОК

Ответ, который говорит об успешно обработанном запросе: сервер дал ответ → страница найдена → информация передана клиенту.

301 Moved Permanently

Запрашиваемый документ перемещён на другой URL-адрес навсегда.

Это код ответа сервера, который вызывает больше всего вопросов у начинающих. На самом деле ответ прост: все страницы, с которых пользователей нужно навсегда переправить на другую страницу (дубли, удалённые страницы, зеркала и всякие штучки, о которых ты не расскажешь на исповеди Google), должны отвечать этим кодом.

После краулинга таких страниц поисковые системы рано или поздно «склеят» их с целевой страницей редиректа и передадут ссылочный вес. Ну и, конечно, старайся убирать внутри сайта все ссылки на страницы, которые отдают 301 код ответа, и проставь сразу целевую страницу редиректа.

302 Found

Уведомляет клиента, что страница найдена и временно расположена по другому адресу. Поисковые системы обычно не удаляют её из индекса. Ранее этот код ответа использовался во время доработок на сайте или случаев, когда товара временно нет в наличии, но страница приносит трафик, поэтому есть смысл перенаправить пользователей на страницу каталога или похожего товара. Но с появлением HTTP 1.1 на замену ему пришли 303 и 307 коды ответа.

303 See Other

Лучше всего использовать этот код ответа, когда хочешь временно направить пользователя на немного другую страницу, которая сможет ему помочь, но не удовлетворит на 100% его поисковый запрос. Доступен запрос только методом GET, что даёт вам доступ только запрашивать информацию, но не обновлять или добавлять данные ресурса.

304 Not Modified

Интересный код ответа, так как на первый взгляд является перенаправлением, но в реальности настраивается специально для ботов и даёт эффект даже лучше, чем 200 OK.

Все мы слышали про краулинговый бюджет. Так вот 304 код ответа является отличным способом помочь ботам поисковых систем не тратить время на страницы, которые не изменились с их последнего визита, а сосредоточиться на сканировании новых. Реализовывается это в связке с HTTP-заголовком If-Modified-Since.

Хочу заметить, что актуальность такого кода ответа для маленьких сайтов маленькая, но если ты будешь работать с большими сайтами, то это очень полезная фича 😉

307 Temporary Redirect

Советую использовать этот код в случае, если нужно временно перенаправить пользователя и одновременно оставить возможность отправлять запрос методом POST, так как это особенность 307 кода, которая позволяет передевать информацию на сервер. Это основное отличие между 303 и 307 редиректами.

Перейдём к кодам, которые отвечают за ошибки на стороне клиента.

401 Unauthorized

Код, который говорит о том, что пользователь ещё не прошёл аутентификацию, или данные неверны.

403 Forbidden

Доступ запрещён. Сервер получил запрос, но отказывается его выполнить из-за ограничений доступа (например, когда пользователь хочет посмотреть системные файлы или другие документы, к которым у него нет доступа).

404 Not Found

410 Gone

При запросе к намеренно удалённой странице лучше возвращать 410 код, когда ты уверен, что точно не сделаешь похожую. В этом случае поисковый робот не вернётся к странице и отметит её как удаленную, после чего со временем она пропадёт из индекса.

429 Too Many Requests

Код ответа, который мы часто видим в нашем краулере. Сервер возвращает такой код, когда определяет слишком большую активность от одного пользователя за определённый промежуток времени. Если тебе нужно продолжить сканирование такого сайта, уменьши количество потоков в настройках краулера.

Уважай сервер, он почти как Google — у него очень много спрашивают, а он один.

Ну и завершим всё ошибками на стороне сервера, которые чаще всего встречаются.

500 Internal Server Error

Ошибка говорит о том, что сервер не может обработать запрос. Это любая непредвиденная для сервера ситуация, причину которой он не способен определить (она не соответствует ни одной другой пятисотой ошибке).

503 Service Unavailable

Сервер недоступен, и обработка запросов временно не осуществляется по техническим причинам. Чаще всего ты видишь такой ответ, когда сервер обслуживается или перегружен.

Ещё одно корокое и полезное видео о том, как проверить код ответа страниц на сайте:

Подводим итоги

Напоследок давай пробежимся по всему, что уже сказано:

Источник

Проверка кода ответа сервера

Проверять код ответа нужно для того, чтобы поисковик правильно индексировал страницы. Если страницы, которые нужно включить в индекс, будут отдавать код 404 — никакого продвижения у вас не получится.

Процесс взаимодействия браузера с сервером основывается на формировании запроса пользователя и его отправке к веб-странице на сервер. Получив запрос, сервер отправляет необходимые http-заголовок и html-файл. Код ответа сервера как раз и состоит из заголовка сайта и определенного сопроводительного текста, который соответствует каждому коду ответа. Пояснительный текст предназначен для человека, который с его помощью может узнать, в чем заключается ошибка.

Как проверить код ответа сервера

Обычно нужно просто ввести урл страницы в один из сервисов, а он уже выдаст вам код ответа. Давайте посмотрим, что за сервисы можно использовать в этих целях.

Яндекс Вебмастер

В Яндекс Вебмастере проверить код ответа сервера можно с помощью инструмента Server Response. Указав url-адрес любой страницы, которая может находится в индексе, нажимаем «Проверить».

Поскольку страница работает нормально, поисковому боту отдается код 200, с пояснением «ОК» — все хорошо.

Для проверки противоположного случая можно ввести адрес страницы, которой на сайте нет и которая никак не может быть просканирована поисковым ботом. Напишем заветное заклинание для тех, кто любит сочинять бред.

Как было написано выше, в ответ на несуществующую страницу, сервер выдает ошибку 404, с пояснением «Not Found» — не найдено.

Bertal

В отличии от Server Response, помимо ботов Яндекса на Bertal можно выбрать GoogleBot и BingBot, а также популярные браузеры. Укажем те же страницы, чтобы подтвердить правильную работоспособность сервера. В списке ботов выберем GoogleBot.

Пиксель Тулс

На Пиксель Тулс сервис для проверки ответа сервера поддерживает массовую проверку страниц. Список адресов можно вводить вручную или загружать из файла. Полученные результаты можно сохранить в CSV-файл.

Что такое ошибка 301

Ответ 301 moved permanently означает, что запрашиваемая страница переехала на новый URL. Новый адрес который указывается в отдельной графе сервиса.

Также приведу пример с проверкой страницы, с которой происходит 301 редирект.

В графе «Location» указана ссылка на которую происходит переадресация. Пояснение «Moved Permanently» означает, что страница переехала навсегда.

Что такое ошибка 503

Ответ 503 Server Unavailable означает, что сервер временно не может обрабатывать запросы из-за технических проблем. Этот код предназначен для уведомления поискового бота о том, что на сайте проводятся технические работы. После ошибки 503 бот при необходимости посетит страницу позже. При продвижении сайта нужно следить за страницами с ответом 503. После осуществления на сайте технических работ нужно проверить их, чтобы они вновь отвечали кодом 200 ОК.

Вот видос, где Гроховский поясняет за коды ответа сервера:

Источник

Как работает инструмент проверки кода ответа сервера и как им пользоваться?

Массовая проверка кода ответа сервера

Как пользоваться инструментом?

Вебмастерам и SEO-специалистам часто требуется определить код ответа той или иной страницы сайта, а зачастую и целого списка страниц, чтобы решить задачи:

Отслеживания работоспособности продвигаемых SEO-специалистами страниц.
В том случае если продвигаемая страница отдаёт неверный код ответа сервера (отличный от 200 ОК), это может приводить к исключению страницы из индекса поисковой системы.

Отслеживания работоспособности страниц, на которые ведут объявления рекламной кампании.
Возможны ситуации, когда с сайта удаляются товары, на которые ведут объявления рекламной компании. С помощью сервиса можно своевременно обнаружить ошибки, получив коды ответа сервера для целого списка страниц (максимум за одну итерацию — 100 ссылок).

В данном случае страница № 4 отдаёт код 404, что говорит о её недоступности к индексации.

Выявления редиректов в структуре сайта для исключения излишних перенаправлений.

Если в исходном коде имеются ссылки на указанные URL-адреса, то рекомендуется заменить их на конечные URL-адреса (столбец «URL-переадресации»).

Зачем столбец с размерами документов?

Избыточный вес может негативно влиять на ранжирование документа.
Максимальное рекомендованное значение: 120 Кб. В случае превышения данного лимита стоит оптимизировать контент, (выносить в отдельный файлы JS и CSS-фрагменты).

По весу страницы можно сделать определённые выводы о типе документа, расположенному по введенному URL-адресу, а также находить потенциальные дубли.
Рассмотрим ряд документов интернет-магазина измерительной техники:

Среди страниц одна явно больше прочих по размеру. Если вручную проверить, можно убедиться, что одна большего размера является каталогом в то время, как прочие документы — карточки товаров.

Кроме того, если подобные «взвешивания» производить с определённой регулярностью, в случае удаления карточек товаров со страницы категории, последняя потеряет в весе, что проинформирует об опустошении посадочной страницы, а следовательно о необходимости её дополнительного анализа.

Возможность скачать результат в CSV

Чтобы скачать результат массовой проверки в формате CSV, необходимо перед запуском проверки поставить галочку «Скачать результаты в виде CSV-файла».

Какие коды ответа сервера существуют?

Существует свыше 50 различных кодов ответа, но повседневно SEO-специалистам, вебмастерам и директологам приходится сталкиваться со следующими:

Источник

• ← проверка качества товара по внешним признакам не включает параметр
• проверка кодировки строки php →