проверьте индексирование цели редиректа как проверить
Страница перенеправляет робота на ссылку. Проверьте индексирование цели редиректа
Первое, что кинулось в глаза в исходном коде это такие строчки:
Помощь в написании контрольных, курсовых и дипломных работ здесь.
Функция для редиректа на внешнюю ссылку
Имеется сайтец на WP. Используется тема Tempera (хотя сильно на суть не повлияет). В большинстве.
Не отображает ссылку. Проверьте, пожалуйста, код
Не отображает ссылку. Проверьте, пожалуйста, код, подскажите что не верно 2
Помощь в написании контрольных, курсовых и дипломных работ здесь.
Всплывающая html страница по клику на графическую ссылку
Уважаемые пользователи, столкнулся с проблемой, я в основном все сто мне нужно делаю в фотошопе.
При клике на ссылку из списка, должна загружаться шаблонная страница
Есть список статей с менами типа 1109728849.html, 1109763273.html в папке new,заголовки статей.
При клике на ссылку открывается страница с просьбой добавить в браузер Chrome
Привет! Помогите решить проблему. У меня также при клике по ссылке открывает окно из предложением.
Найти точки от цели до цели
Добрый день, нужна помощь в задаче Изначально заправок 8. 1) Radion 2) kesmolovo 3) statrek 4).
Как сделать так, чтобы по клике на ссылку, открывалась новая страница и запускалась функция
Как сделать так, чтобы по клике на ссылку, открывалась новая страница и запускалась функция. К.
При клике на любую ссылку или даже пустое место открывается страница с рекламой
При клике на любую ссылку открывается страница с рекламой. Раньше открывалась «сбоку», теперь.
Ошибки и проблемы индексирования сайта, о которых не все знают
Автор Вячеслав Питель · 16:32 14.01.2018
Здравствуйте, уважаемые читатели сайта Uspei.com. Сегодня я расскажу вам как найти и исправить возможные проблемы с индексированием вашего сайта. Рассмотрим три основных момента.
Кажется все довольно просто. Но на самом деле большинство вебмастеров сталкиваются с одними и теми же проблемами при настройке индексирования. Давайте посмотрим на них внимательно.
Индексирование нужного контента и включение его в результаты поиска
Все роботы, которые посещают ваш сайт, как правило, исполнительные и соблюдают те инструкции, которые вы предоставляете для них. Поэтому часто ошибки возникают с тем, что роботу предоставлены некорректные инструкции для индексирования.
Самая главная инструкция для индексирующего робота это файл robots.txt. Это такой служебный файлик, который находится в корне вашего сайта, в котором содержатся инструкции, что можно индексировать и как часто это делать. И также, что нельзя индексировать.
Кажется о файле robots.txt мы уже говорили много много раз. Давайте разберем наиболее частые ошибки.
— Запрет индексирования нужных страниц
Наиболее распространенная ошибка в robots.txt это запрет нужных страниц для посещения. Представьте себе ситуацию с «AB» тестированием, когда и посетители и робот с главной страницы сайта перенаправляются на какую-то внутреннюю страницу с параметром, где в зависимости от значения параметра страница выводится в том или ином формате. Но часто такую страницу с параметром запрещают в файле robots.txt. В результате чего, и главная страница и страница, куда осуществляется перенаправление, исключаются из поисковой выдачи. Кажется, это не самый лучший вариант. В таком случае обязательно нужно проверить, что нужная страница разрешена к обходу.
— Закрытие от индексирования промежуточных страниц
Пример:
uspei.com/category/page.html
Файл robots.txt:
User-agent:*
Disallow: /category/$
— Неправильное указание главного зеркала
Для того, чтобы указать на адрес главного зеркала существует специальная директива в файле robots.txt. Она как раз называется директива host. То есть, вы можете задать роботу адрес вашего сайта, который будет находиться в поиске.
При размещении директивы host нужно обратить внимание на такие моменты как:
— Инструмент «Анализ файла robots.txt»
После того, как робот скачал файл robots.txt он обновляет политики обхода, то есть понимает, что можно индексировать, что нельзя индексировать. Если страницу индексировать можно, он обращается к ней и скачивает ее html-документ.
Сам по себе html-документ для робота выглядит сплошной простыней кода. Это определенный набор тегов, скриптов, css, текстового содержимого, из которого робот достает самые важные части. Во-первых, робот вытаскивает из html-кода ваших страниц мета-теги. Достает текстовое содержимое для того, чтобы понять о чем именно идет речь на странице (о том, как оптимизировать тексты мы обсуждали на этой странице). И получает ссылки на внутренние страницы вашего сайта для того, чтобы в дальнейшем их проиндексировать.
— Что обязательно нужно проверить в исходном коде страницы сайта
Сама по себе проверка довольно-таки простая. Вам небольшой чек-лист, что именно и как проверять в исходном коде страниц сайта.
Ускорение индексирования сайта
Итак, мы предоставили роботу контент, предоставили страницы, которые необходимы индексировать, но в большинстве случаев этого недостаточно. Согласитесь, какой смысл от появления новостной заметки в поиске, если с момента ее размещения на сайте до включения в выдачу прошло несколько недель. Я думаю, что такая новость никому будет не нужна.
Самый главный ваш помощник это файл sitemap. Определенный служебный файл, в котором содержатся адреса страниц, которые роботу необходимо индексировать. В большинстве случаев в современном мире файлы sitemap генерируются автоматически. Либо какими-то специальными плагинами, либо уже встроенными встроенным функционалом вашей cms. Также при желании файл sitemap можно создать вручную. Обычный текстовый файлик с адресами страниц. Легко его редактировать, легко размещать и сообщать о нем роботу.
Небольшой чек-лист о том, как составить файлы sitemap, чтобы он работал на вас и помогал роботу индексировать ваш сайт:
Файл sitemap является общепринятым стандартом. В этом файле можно добавлять дополнительную информацию помимо адресов страниц сайта. Например, такую как наличие мобильной версии или альтернативной версии на других языках. В данном случае инструмент «анализ sitemap» показывает ошибку «неизвестный тег image». Вот официальный ответ Яндекса:
— Директива Crawl-delay
После того, как вы роботу отдали список тех страниц, которые нужно посещать, очень важно, чтобы робот мог без ограничения по частоте обращения к вашему сайту скачивать эти страницы. За частоту запросов со стороны робота отвечает директива Crawl-delay.
Это служебная директива, с помощью которой можно как раз задать интервал между запросами робота страниц сайта. Запомните три правила:
Например, значение 0,5 говорит о том, что роботу можно отправлять два запроса секунду к страницам сайта. Большинство современных сайтов такую нагрузку со стороны робота обязательно выдержат.
Хочется рассказать небольшой пример и жизни. Однажды мы вместе с владельцем сайта смотрели, почему же его ресурс редко посещается индексирующим роботом. В файле robots.txt была установлена директива Crawl-delay 20. Когда я спросил почему же такая директива, почему такая большая, ответ был следующий: мы посмотрели ее у конкурентов и подумали, что так нам тоже будет лучше. Нет. Не нужно устанавливать директиву Crawl-delay, если она вам не нужна.
— Инструмент «Переобход страниц»
На текущий момент в большинстве случаев если речь идет о новой странице сайта в поисковую выдачу она появится в течение нескольких десятков минут. Если речь об уже проиндексированных страницах, то это 3-5 дней.
В итоге, чтобы ваш сайт посещался быстро необходимо помнить о трех правилах:
Избавляем робота от ненужных страниц сайта
Когда робот начинает посещать ваш ресурс, часто это не всегда положительно влияет на индексирование хороших страниц сайта. Представим ситуацию, допустим, робот совершает 5 запросов в секунду к вашему ресурсу. Кажется отличный результат, но какой смысл из этих пяти посещений в секунду если все они относятся к служебным страницам вашего сайта или дублям и робот совсем не уделяет внимания действительно важным страницам. Об этом наш следующий раздел, как не индексировать ненужные страницы.
Давайте посмотрим на инструмент «Статистика обхода», выглядит он следующим образом. Здесь есть также графики. Нас интересует чуть-чуть пролистать вниз страницу кнопочка «все страницы». Вы увидите все, что посещал робот за последние дни.
Среди этих страниц если есть какие-то служебные страницы, то их нужно запрещать в файле robots.txt. Что именно нужно запрещать давайте по пунктам.
Если вы столкнетесь с вопросом, а нужно ли запрещать или нужно ли открывать эту страницу к обходу, ответьте себе на простой вопрос: нужна ли эта страница пользователям поисковой системы? Если эта страница не должна находиться в поиске по запросам, то ее можно запретить.
И небольшой практический кейс, я надеюсь он вас замотивирует. Смотрите, на одном из ресурсов робот совершает практически тысячи обращений в день к страницам с редиректом. На самом деле, страницы перенаправления это были страницы добавления в корзину.
— Дубли страниц на сайте, как их найти и что с ними делать
Я думаю, что почти все вебмастера уверены, что именно на их ресурсе нет никаких дублирующих страниц. Хочу немножко вас расстроить. На самом деле дубли есть практически на всех сайтах в рунете. Как найти дубли страниц и что с ними потом делать? Об этом у меня есть подробная статья, прочитав которую, у вас не останется ни одного вопроса.
— Проверка кода ответа сервера
Помимо файла robots.txt хочется вам еще рассказать о корректных http кодах ответа. Тоже кажется вещи, которые говорили уже неоднократно. Сам по себе http код ответа это определенный статус страницы для индексирующего робота.
В чем плюс использования инструмента корректных http кодов:
Об этом как раз следующий скрин также из практики. Во время недоступности ресурса и проведения технических работ робот получает заглушку с http кодом ответа 200.Вот как раз описание к этой заглушке вы видите в результатах поиска.
Поскольку страница отвечает кодом ответа 200 они попадают выдачу. Естественно, с таким контентом страницы не могут находиться и показывать по каким-либо запросам. В данном случае правильной настройкой будет http ответа 503. При кратковременной недоступности страницы или ресурса этот код ответа позволит избежать исключения страниц из результатов поиска.
Вот ситуации, когда ваши важные и нужные страницы вашего ресурса становятся недоступными для нашего робота, например, отвечают кодом 503 или 404 либо вместо них возвращается в об эту заглушку.
Такие ситуации можно отследить с помощью инструмента «важные страницы». Добавьте в него те страницы, которые приносят наибольший трафик на ваш ресурс. Настройки уведомления на почту и либо в сервис и вы будете получать информацию о том, что происходит с данной страницей. Какой у нее код ответа, какой у нее заголовок, когда она посещалась и какой статус в поисковой выдаче.
Проверить корректность возврата того или иного кода ответа можно с помощью соответствующего инструмента в Яндекс-вебмастере (тут все о Яндекс-вебмастере). В данном случае проверяем код ответа несуществующих страниц. Я придумал страницу и загнал ее в инструмент, нажал кнопочку проверить и получил 404 ответ.
Здесь все в порядке, так как страница была недоступна она корректно ответила 404 кодом и в поиск она уже не попадет. В результате чего, для того, чтобы ограничить посещение роботам не нужных страниц сайта, активно используйте инструмент статистику обхода, вносите изменения в файл robots.txt и следите, чтобы страницы возвращали корректный http код ответа.
— Подводим итог
Мы с вами отдали роботу корректные странице сайта с контентом. Мы добились того, что это индексируется быстро. Запретили роботу индексировать не нужные страницы. Все эти три большие группы задач связаны между собой. То есть, если не ограничивать роботу индексирование служебных страниц, то, скорее всего, у него останется меньше времени на индексирование нужных страниц сайта.
Если робот будет получать контент нужных страниц не в полном объеме, он не будет включать эти страницы в поисковую выдачу быстро. То есть над индексированием вашего ресурса нужно работать в комплексе, над всеми этими тремя задачами. И в этом случае вы добьетесь определенных успехов для того, чтобы нужные страницы быстро попадали в поисковую выдачу.
Официальные ответы Яндекса
В индекс попали страницы в верхнем регистре при том, что сайт такого рода страниц не содержит. Если страницы попали в верхнем регистре, это скорее всего робот обнаружил ссылки на них где-то в интернете. Проверьте сначала ваш сайт, скорее всего где-то в интернете установлена некорректная ссылка. Робот пришел, увидел ее и начал скачивать страницу в верхнем регистре. Для них, для таких страниц лучше использовать 301 редирект.
Если разместить ссылки на все разделы каталога в нижнюю часть сайта, который отображается на всех страницах, это поможет индексации или навредит? На самом деле делать этого совсем не нужно, то есть если это не нужно посетителям вашего сайта, то вносить специально это не нужно. Достаточно просто файла sitemap. Робот узнает о наличии всех этих страниц, добавит их в свою базу.
Нужно ли в sitemap указать периодичность обновления? Файлом sitemap можно передавать дополнительную информацию для индексирующего робота. Помимо самих адресов также наш робот понимает еще несколько тегов. Во-первых, это частота обновления, то есть периодичность обновления. Это приоритет при обходе и дата последнего изменения. Всю эту информацию из файла sitemap он забирает при обработке файла и добавляет в свою базу и использует в дальнейшем для корректировки политик обхода.
Можно ли обойтись без sitemap? Да, следите, чтобы на вашем сайте была прозрачная навигация, чтобы на любую внутреннюю страницу вели доступные ссылки. Но учитывайте, что если это новый ресурс (от автора: о том как запустить новый сайт читайте тут) и, например, какая-то страничка находится глубоко на вашем сайте, например, в 5-10 кликов, то роботу потребуется достаточно много времени, чтобы узнать о ее наличии. Сначала скачать главную страницу сайта, достать ссылки, потом опять скачать те страницы, о которых он узнал и так далее. Файл sitemap позволяет передать роботу информацию обо всех страницах сразу.
Робот делает 700 тысяч запросов в сутки по несуществующим страницам. Прежде всего нужно понять откуда появились такие несуществующие страницы. Возможно некорректно используются относительные ссылки на вашем сайте, либо какой-то раздел удалили окончательно с сайта и робот продолжает все равно проверять такие страницы. В таком случае стоит их просто запретить в файле robots.txt. В течение 12 часов робот перестанет обращаться к таким страницам.
Если служебные страницы проиндексированы, как можно убрать их с поиска. Чтобы убрать страницы из результатов поиска также используйте robots.txt. То есть не имеет значение установили вы запрет при создании вашего сайта, либо уже когда запустили ресурс. Страница пропадет из выдачи в течение недели.
Автогенерируемый sitemap это хорошо или нет? В большинстве случаев все sitemap генерации автоматически, поэтому можно сказать, что это наверное хорошо. Вам не нужно делать что-то своими руками и можете уделить внимание чему-то другому.
Как будет индексироваться страница, если ее сделать канонической саму на себя. Если атрибут canonical ведет на саму же страницу? Такая страница считается канонической? Она будет нормально проиндексирована и включена в поисковую выдачу, то есть использовать такой прием вполне корректно.
Что означает статус «неканоническая»? Значит на странице установлен атрибут canonical, который ведет на другую страницу вашего сайта. Поэтому данная страница в поиск попасть не сможет. Откройте исходный код страницы, сделайте поиск, посмотрите куда ведет canonical и проверяйте каноническую страницу в поиске.
Как проверить индексацию сайта и отдельных страниц в Яндекс и Google
Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.
Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.
Рассмотрим каждый вариант подробнее.
1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
Бесплатный и достоверный способ с использованием сервисов для вебмастеров.
Яндекс.Вебмастер
В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».
Добавление сайта в вебмастер Яндекса
После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.
Просмотр страниц в поиске Яндекса через панель для вебмастеров
Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».
Просмотр количества страниц в поиске на вкладке «Мои сайты»
Google Search Console
Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».
Пример верификации в панели вебмастеров в Гугл
После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».
Просмотр страниц в ПС Гугл через панель для вебмастеров
Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.
Примеры проверки индексации сайта
На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе
На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса
На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл
2. Проверка количества проиндексированных страниц в ПС при помощи операторов
Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».
Пример использования оператора «site» в Яндексе
Пример использования команды «site» в Гугле
3. Анализ индексации сайта при помощи плагинов и расширений
Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.
Пример использования плагина SEO-tools
Установить расширение вы можете по ссылке
Пример использования расширения RDS bar
Установить расширение вы можете по ссылке
4. Отслеживание проиндексированных страниц с помощью online сервисов
Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».
Скриншот проверки индексации сайта в a.pr-cy.ru
Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.
5. Программы для контроля индексации сайта
Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.
Скриншот фрагмента анализа сайта в программе Site-Auditor
Проверка индексации страницы
Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:
1. В панели для вебмастеров:
Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».
Проверяемая страница в поиске Яндекса
Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.
Проверяемая страница проиндексирована в Google
2. Оператор «url»
В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».
Пример использования оператора «url» в ПС Яндекс
3. Оператор «info»
В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»
Пример использования оператора «info» в ПС Гугл
Почему сайт может не индексироваться
В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.
Ошибки в файле robots.txt
Отсутствие файла sitemap.xml
Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.
Новый сайт
Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.
Приватные настройки
В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.
Тег «noindex»
Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».
Мусорные страницы
Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.
Выводы SEO-специалиста Веб-центра
Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.
Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.