страница просканирована но пока не проиндексирована как исправить
Страница просканирована но пока не проиндексирована как исправить
Здравствуете уважаемые специалисты прошу помочь с одним очень тяжелым мне вопросом!
Давно, был разработан сайт, Было порядка 5000 товарных карточек и ссылок, было абсолютно 90% проиндексировано в Гугле, я вообще забил полностью на оптимизацию, Трафик был вполне нормальным
(В Гугле проиндексировано всего лишь, 15-20% страниц)
(Отмечу Яндекс индексировал уже 90% страниц) Около 15 000 страниц!
После смены на сайте URL-адресов страниц, новые URL Google нашел, но не захотел индексировать. Основная причина в Google было написано так:
« Страница просканирована, но пока не проиндексирована»
« Обнаружена, не проиндексирована »
Что было сделано еще в прошлом году,
1) Была произведена базовая оптимизация для всех карточек товара и категории (купить, цена, город) (Title, H1, Description) Отмечу автоматически формируется уникальные Теги
Title, H1, Description Для всех товаров и категории
2) Запретили индексировать всякий мусор в файле Robots.txt
3) Ежедневно наполняются карточки товара, характеристиками, изображениями описаниями и тд.
4) SEO фильтры, в категориях, и в брендах
5) Настроен и запущен Google merchant center, Синхронизован фид с Социальными сетями (Инстаграм, Фейсбук)
6) Ускорили работу сайта, гугл показывает для ПК и Смартфонов Среднею скорость
7) Карточки товаров оформлены вполне нормально, с указанием основных характеристик, бренда, и несколько изображении. Методы оплаты и Методы доставки!
Прошу помочь с данной проблемой, трафик с гугла очень сильно упал(((
Google: Страница просканирована, но пока не проиндексирована
Продолжу разбор того, что частенько спрашивают, а именно про очередной сюрприз от Гугл который мало где объясняется.
Предисловие
Практически у всех кто заглядывал в новую Google Search Console в раздел «Покрытие», присутствуют страницы со статусом «Исключено» и типом «Страница просканирована, но пока не проиндексирована«. Не путать с «Обнаружена, не проиндексирована»!
Исключенных страниц может не быть, только если сайту 2 недели и еще ничего не начало индексироваться или если это визитка и на ней 4 страницы.
Большинство не понимает что это значит и из кожи вон лезут, пытаясь силком затолкать все страницы сайта в выдачу.
Ответы Гугл
Вот что говорит гугл о таких страницах в Cправке для Вебмастеров:
Страница просканирована, но пока не проиндексирована. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; вновь отправлять этот URL на сканирование не нужно.
Т.е. ничего вразумительного. Крайне скудная информация, которая вносит сумбур и только.
Благо на форуме Гугл для вебмастеров, Джон Мюллер дал более развернутое объяснение. Приведу перевод написанного:
Мы не обещаем обход и индексацию всего контента.
В интернете куча всего, и было бы непрактично включать всё, мы должны расставить приоритеты.
Это не означает, что со страницами что-то не то, наши алгоритмы не видят смысла включать все страницы с вашего сайта.
Это нормально, позже возможны изменения, это не является признаком технической проблемы.
Одним из выходов, в таких случаях, это сосредоточить свои усилия на содержании проиндексированных, объединить похожие страницы, удалить ненужные страницы, делать более уникальный и интересный контент на страницах вашего сайта (или все эти шаги).
Проще и детальнее
Что изменится от того что в год 3 раза страница попадет в выдачу на 74 место? Ничего! Вот и Гугл так считает.
От чего зависит
Перечислю факторы влияющие на количество таких страниц:
по сути всё то чем и так нужно заниматься для продвижения сайта.
Выводы
Паниковать не стоит, но внимание обратить нужно. Кол-во таких страниц является косвенной оценкой оригинальности контента, но только с учетом конкурентной ниши и посещаемости.
Делайте страницы более уникальными, улучшайте поведенческие показатели, дабы дать понять что эти страницы посещают, они интересны людям и не стоит их выбрасывать.
Ну и хочу пояснить один момент. Если вопрос касается интернет-магазинов, важна в первую очередь внутренняя уникальность (в рамках самого сайта).
Страница просканирована но пока не проиндексирована как исправить
С чем может быть связано? Ответ 200ок, страница открывается, в роботсе запрета нет.
ps старый сайт, не очень нужен был, но тут решили заглянуть в панель.
Присоединяюсь к вопросу. Постоянно растет количество таких страниц. Раньше они четко сидели в индексе.
Я к сожалению не в курсе, как на этом нашем сайте, растет или статично количество, т.к. нет данных за прошлый период.
Плюсую к вопросу ТСа.
Сначала падало количество почти до нуля. Теперь же отрастает обратно.
С чем может быть связано? Ответ 200ок, страница открывается, в роботсе запрета нет.
Спасибо
ps старый сайт, не очень нужен был, но тут решили заглянуть в панель.
Может быть глюк. Посмотрите в поиске есть ли эти страницы в выдаче.
С чем может быть связано? Ответ 200ок, страница открывается, в роботсе запрета нет.
Спасибо
ps старый сайт, не очень нужен был, но тут решили заглянуть в панель.
Как дела с мобайл френдли?
postavkin:
Всё мобильно.
Вообще сегодня глянул после прочтения топика. У себя тоже нашел такое. В основном там редиректы сидят. Нашел пару страниц нормальных, проверил. Они даже при проверке на самом гугле уже проиндексированными оказались. А на одну страницу вообще трафик с гугловского поиска шел.
Страница просканирована, но пока не проиндексирована
Те урл которые там, некоторые из них ищутся по урл, НО. нет кеша (что логично)
— и ПРИ ЭТОМ некоторые из них не ищутся по точному соответствию заголовка, а некоторые ищутся (никакой закономерности).
Видимо это список страниц, которые в соплях.
Осталось понять причины. Преимущественно страницы товаров. Но дублей нет. Причины не ясны.
Вопрос: когда смотрим инфу о странице
какую ссылку он не нашел, внутри сайта что ли?
Был уверен, что все в порядке. Сегдоня увидел, что из 16к проиндексированных, только 3к мобайл.
НО при этом с ошибками нет? Где же они?
В списке «исключенных» (то что выше показал) только 1 из 10 урл попалась надпись в гугле что страница не оптимизирована для мобильных.
Списком мобильные не дает выгрузить (только 1000 страниц). А так бы можно было сверить какие не моб и удивиться.
У меня с формулировкой «Страница просканирована, но пока не проиндексирована» выпало из индекса 1000+ страниц только с одного сайта
Статус «Страница просканирована, но не проиндексирована»: что это значит и как от него избавиться?
Поделиться с друзьями:
Перевод статьи с портала MOZ
Отчет об индексировании от Google дает SEO-специалистам уникальную возможность понять, как происходит краулинг и индексирование страниц. Эта функция очень удобна для диагностики технических проблем, возникающих у клиентов.
В отчете встречается много разных «статусов», которые предоставляют веб-мастерам подробную информацию о том, как Google обрабатывает контент их сайта. И хотя большинство статусов дают понимание о решениях Google по краулингу и индексированию, один из них остается неясным. Речь идет о статусе «Crawled — currently not indexed» («Просканировано, но не проиндексировано).
Обращая внимание на подобные отчеты и выявив причины возникновения ошибок, можно будет с уверенностью ответить на вопрос «Почему сайт не индексируется в Google?».
Появления статуса «Crawled — currently not indexed» вызывает у владельцев сайтов много вопросов. Одно из преимуществ крупной компании — это возможность работать с большим объемом данных. Поэтому после появления этого статуса в нескольких учетных записях мы начали отслеживать тенденции по указанным URL-адресам.
Определение Google
Для начала давайте посмотрим, какое определение этому статусу дает сам Google. Согласно официальным документам Google, за непонятной фразой скрывается следующее: «Страница была просканирована Google, но не проиндексирована. Возможно, она будет проиндексирована в будущем; нет необходимости повторно отправлять этот URL для краулинга».
Итак, мы можем сделать следующие выводы:
1. Google может получить доступ к странице.
2. Google потратил время на сканирование страницы.
3. После сканирования Google решил не индексировать страницу.
Чтобы лучше понять этот статус, нужно подумать о причинах, по которым Google решил отказать странице в индексации. Очевидно, что Google без труда находит страницу, но почему-то не считает ее достаточно полезной для включения в поисковую выдачу.
Получать отказ в индексировании от Google всегда неприятно, особенно если вы не понимаете, что сделали не так. Ниже мы рассмотрим несколько наиболее распространенных причин, по которым этот загадочный статус может быть присвоен вашему сайту.
1. Ложная тревога
Приоритет: низкий
Прежде всего нелишним будет сделать несколько выборочных проверок URL-адресов, получивших статус «Crawled — currently not indexed». Нередко можно найти URL-адреса, которые отмечены как исключенные, но тем не менее присутствуют в поисковой выдаче Google.
Например, вот URL-адрес, получивший такой статус в отчете для нашего веб-сайта: https://gofishdigital.com/meetup/
Однако, используя оператор поиска по сайту, мы обнаруживаем, что URL по-прежнему включен в индекс Google. Вы можете сделать это, добавив site: перед URL, как показано на рисунке ниже.
Таким образом, если вы обнаружили статус «Crawled — currently not indexed» у URL-адреса, рекомендуется начать с оператора поиска по сайту, чтобы наверняка убедиться, проиндексирован он или нет. Иногда появление такого статуса — ложная тревога о статусе индексации в Google.
Решение: ничего делать не нужно. Все хорошо.
2. Адреса RSS-каналов
Приоритет: низкий
Один из достаточно распространенных случаев, с которыми нам приходилось сталкиваться. Если на вашем сайте используется RSS-канал, возможно, вы обнаружите у URL-адресов статус «Crawled — currently not indexed». Часто к этим URL-адресам будет добавлена строка /feed/. В отчете это выглядит следующим образом:
Google нашел эти URL-адреса RSS-каналов, связанных с основной страницей, затем просканировал, но не проиндексировал.
Связывание часто происходит с использованием элемента rel=alternate. Плагины WordPress, такие как Yoast, могут автоматически генерировать подобные URL.
Решение: ничего делать не нужно. Все хорошо.
Скорее всего, Google выборочно не индексирует эти URL-адреса, и вовсе не напрасно. Если вы перейдете по адресу RSS-канала, то увидите XML-документ, подобный приведенному ниже:
Хотя этот документ полезен для RSS-каналов, обычным пользователям он совершенно без надобности. Именно поэтому Google не индексирует такие URL-адреса.
3. Разбитые на страницы URL-адреса
Приоритет: низкий
Еще одна распространенная причина появления статуса «Crawled — currently not indexed» — разбивка на страницы. В отчете мы часто наблюдаем большое количество разбитых на страницы URL-адресов. На рисунке ниже приведено несколько URL-адресов с крупного сайта интернет-магазина:
Решение: ничего делать не нужно. Все хорошо.
Для полного краулинга сайта Google должен сканировать все разбитые на страницы URL-адреса. Это могут быть страницы с довольно важным контентом, например, с категориями или описанием продуктов. Однако поисковой системе вовсе не обязательно индексировать все подобные URL-адреса.
Тем не менее нужно удостовериться, что вы сами не препятствуете сканированию отдельных страниц. Убедитесь, что все ваши страницы имеют самореферентный канонический тег и не содержат nofollow-тегов. Подобная разбивка позволяет Google сканировать другие ключевые страницы вашего сайта.
4. Отсутствующие продукты
Приоритет: средний
После выборочной проверки отдельных страниц, перечисленных в отчете, мы обнаружили еще одну общую проблему многих клиентов. Речь идет об URL-адресах, содержащих текст «товары с истекшим сроком годности» или «нет в наличии». Похоже, что на сайтах интернет-магазинов Google проверяет наличие определенного продукта. Если выясняется, что продукта нет в наличии, Google убирает страницу из индекса.
С точки зрения пользовательского опыта, это действительно имеет смысл, поскольку Google сканирует и исключает из индекса товары, которые пользователи не могут приобрести.
Однако, если данные продукты доступны на вашем сайте, исключение из индекса сулит неприятные последствия. Если страница не была проиндексирована, ваш контент не получает никакого рейтинга.
Кроме того, Google не просто проверяет видимый контент на странице. Бывали случаи, когда видимый контент никоим образом не указывал на отсутствие того или иного продукта. Однако при проверке структурированных данных мы видим, что для свойства Availability («Доступность») установлено значение OutOfStock («Нет на складе»).
Похоже, что Google использует не только видимый контент, но и структурированные данные о доступности того или иного продукта. Поэтому важно проверять оба источника данных. Если проблема имеет массовый характер, Google не проиндексирует не только страницы, но и сайт в целом.
Решение: проверьте наличие продуктов на складе.
Если вы обнаружите, что ваш продукт, который на самом деле есть в наличии, почему-то исключен из индекса, это повод проверить и другие продукты, указанные в отчете. Проведите сканирование своего сайта с помощью инструментов извлечения, таких как Screaming Frog SEO Spider.
Например, если вы хотите увидеть все ваши URL-адреса, где присутствует значение OutOfStock, используйте регулярное выражение «availability»:».
С помощью «class=»redactor-autoparser-object»>http://schema.org/OutOfStock» автоматически отобразятся все URL-адреса с этим значением:
Вы можете экспортировать этот список и перекрестные ссылки с данными о наличии товара, используя Excel или инструменты бизнес-аналитики. Это позволит вам быстро найти расхождения между структурированными данными на вашем сайте и продуктами, которые действительно есть в наличии. Аналогичным образом можно обнаружить случаи, когда ваш видимый контент указывает, что срок годности продуктов истек.
5. Переадресация 301
Приоритет: средний
Конечный URL — еще один тип адресов в зоне риска. Мы часто видим, что Google сканирует конечный URL, но не включает его в индекс. Однако, посмотрев на поисковую выдачу, мы обнаружим, что Google индексирует перенаправленный URL. Поскольку перенаправленный URL индексируется, конечный URL-адрес добавляется в отчет «Crawled — currently not indexed».
Проблема в том, что Google, вероятно, еще не распознает переадресацию. В результате он рассматривает конечный URL как «дубликат» перенаправленного URL.
Решение: создайте временный файл sitemap.xml.
Если подобное происходит на большом количестве URL-адресов или сайт полностью не индексируется в Google, стоит принять меры для отправки в Google более сильных сигналов консолидации. Проблема может указывать на то, что Google своевременно не распознает ваши переадресации, что приводит к появлению сигналов о неконсолидированном контенте.
Одним из вариантов может стать создание временного файла sitemap. Это поможет значительно ускорить сканирование перенаправленных URL-адресов. Именно такую стратегию рекомендовал Джон Мюллер в одной из предыдущих статей.
Как сделать временную карту сайта с конечными URL адресами для редиректов:
1. Экспортируйте все URL-адреса из отчета «Crawled — currently not indexed».
2. Сопоставьте их в Excel с предварительно настроенными редиректами.
3. Найдите все переадресации, у которых в области «Crawled — currently not indexed» находится конечный URL.
4. С помощью Screaming Frog создайте статический файл sitemap.xml этих URL-адресов.
5. Загрузите sitemap и просмотрите отчет в Search Console.
Google будет сканировать URL-адреса во временном файле sitemap.xml чаще, что приведет к более быстрой консолидации редиректов.
6. Контент низкого качества
Приоритет: средний
Иногда мы видим в отчете URL-адреса с контентом очень низкого качества. На таких страницах могут быть правильно настроены все технические элементы и внутренние ссылки, однако им недостает фактического контента, что также замечает Google. Ниже приведен пример страницы с информацией о продукте, на которой очень мало уникального текста:
Этой странице был присвоен статус «Crawled — Currently Not Indexed». Наиболее вероятная причина — низкое качество контента.
Google посчитал ее либо недостаточно полезной, либо дубликатом другой страницы. В результате страница была удалена из индекса.
Вот еще один пример: Google просканировал страницу с отзывом на сайте Go Fish Digital (рисунок выше). Хотя этот контент является уникальным для нашего сайта, но Google, вероятно, не считает, что страница из одного предложения с рекомендацией заслуживает индексации.
Поэтому Google принял решение исключить страницу из индекса по причине низкого качества контента.
Решение: добавьте больше контента или настройте сигналы индексации.
Следующие шаги зависят от того, насколько важно для вас проиндексировать те или иные страницы.
Если вы считаете, что страница обязательно должна попасть в индекс, добавьте больше уникального контента. В этом случае Google посчитает страницу достаточно полезной и проиндексирует ее.
Если тот или иной контент, на ваш взгляд, не нуждается в индексации, встает совершенно другой вопрос: следует ли вам предпринять дополнительные меры и убедительно показать, что данный контент не следует индексировать. Ведь, как мы помним, статус «Crawled —currently not indexed» указывает на то, что контент был просканирован и мог быть включен в индекс, но Google решил этого не делать.
Однако Google применяет эту логику не ко всем страницам низкого качества. Вы можете выполнить общий поиск по сайту с помощью оператора site:, чтобы найти проиндексированный контент, который соответствует приведенным выше критериям низкого качества. Если обнаружится, что большое количество таких страниц появляется в индексе, вы можете предпринять ряд мер, таких как тег noindex, ошибка 404 или полное удаление внутренних ссылок.
7. Дублированный (неуникальный) контент
Приоритет: высокий
Среди наших клиентов данная проблема встречается наиболее часто. Если Google посчитает ваш контент дублированным, он может сканировать его, но не включать в индекс. Это один из способов, с помощью которых Google избегает дублирования поисковой выдачи. Удаляя подобный контент, Google обеспечивает пользователям широкий выбор уникальных страниц. Иногда в отчете URL-адреса получают статус «дубликатов» (Duplicate, Google chose different canonical than user). Тем не менее не каждая страница является дублирующей в строгом смысле этого слова.
Эта проблема особенно актуальна для интернет-магазинов. Ключевые страницы, например, с описанием продукта, часто содержат контент, аналогичный или похожий на многие другие страницы в интернете. Если Google обнаружит, что по содержанию или структуре ваши страницы слишком похожи на страницы других сайтов, он может исключить их из индекса.
Решение: добавьте в дублированный контент уникальные элементы.
Если вы считаете, что это относится к вашему сайту, проведите следующую проверку:
1. Скопируйте сниппет потенциального дублированного текста и вставьте его в Google.
2. Добавьте в конец URL-адреса (в браузере) следующую строку: &num=100. Отобразятся первые 100 результатов.
3. Используйте функцию «Поиск», чтобы увидеть, появляется ли ваш результат среди первой сотни. Если нет, вероятно, он был удален из индекса.
4. Вернитесь к URL-адресу (в браузере) и добавьте следующую строку: &filter=0. Это должно показать вам нефильтрованные результаты Google (спасибо Патрику Стоксу за совет).
5. Используйте функцию «Поиск», чтобы найти ваш URL. Если теперь ваша страница появляется в выдаче, это говорит о том, что ваш контент удаляется фильтром из индекса.
6. Повторите процесс для нескольких URL-адресов с потенциально дублированным или очень похожим контентом, которые получили статус «Crawled — currently not indexed».
Если вы продолжаете замечать, что URL-адреса удаляются фильтром из индекса, необходимо сделать контент более уникальным.
Универсального средства для таких случаев не существует, но мы можем предложить несколько вариантов:
1. Перепишите контент на самых важных страницах, чтобы сделать его более уникальным.
2. Используйте динамические свойства для автоматической вставки уникального контента на страницу.
3. Удалите большие куски шаблонного текста. Иногда страница признается дубликатом именно по этой причине.
4. Если ваш сайт зависит от пользовательского контента, повысьте требования к уникальности текстов. Это может помочь предотвратить случаи, когда пользователи размещают один и тот же контент на нескольких страницах или доменах.
8. Скрытый контент
Приоритет: высокий
В некоторых случаях Google может сканировать контент, к которому у него не должно быть доступа. Если Google находит URL-адреса, на которых ведется разработка, он может включить их в отчет. Однажды мы столкнулись с тем, что Google сканировал субдомен, предназначенный для задач JIRA. Это вызвало тотальный обход сайта, содержащего страницы, совершенно не предназначенные для индексации.
Таким образом, Google тратит время на сканирование (и, возможно, индексацию) URL-адресов, которые не предназначены для обычных пользователей. Это может иметь серьезные последствия для краулингового бюджета сайта.
Решение: примите меры для краулинга и индексации.
Это решение будет полностью зависеть от ситуации и того, к чему Google может получить доступ. Как правило, первым делом необходимо выяснить, как Google смог обнаружить скрытые URL-адреса, особенно если это произошло через структуру внутренних ссылок.
Начните сканирование с домашней страницы основного субдомена и проверьте, может ли Screaming Frog получить доступ к скрытым субдоменам стандартным способом. Если да, то можно с уверенностью сказать, что робот Google мог использовать аналогичную лазейку. Вы можете ограничить доступ Google, удалив все внутренние ссылки на этот контент.
Следующим шагом может стать проверка статусов URL-адресов, которые должны быть исключены из индекса. Справляется ли Google с этой задачей, или некоторые из адресов все же были проиндексированы? Если Google не индексирует большой объем данного контента, вы можете настроить файл robots.txt так, чтобы он сразу блокировал сканирование. В противном случае используйте теги noindex, атрибуты canonical и страницы, защищенные паролем.
Пример: дублированный пользовательский контент
В качестве живого примера можно привести случай, когда мы диагностировали проблему на сайте клиента. Этот сайт очень похож на интернет-магазин, поскольку большая часть его контента состоит из страниц с описанием продуктов. Тем не менее все такие описания являются пользовательским контентом.
Третьим лицам разрешено создавать листинги продуктов на этом сайте. Однако очень часто пользователи составляют слишком короткие описания, что расценивается как контент низкого качества. По этой причине страницы с описанием продуктов от пользователей стали попадать в отчет «Crawled — currently not indexed». Таким образом, страницы, способные генерировать органический трафик, были вовсе исключены из индекса, что имело ряд неприятных последствий.
После проведения диагностики мы обнаружили, что страницам с описанием продуктов существенно не хватало уникального контента. Все исключенные страницы содержали не более одного абзаца уникального текста. Кроме того, основное содержание всех страниц представляло собой один и тот же шаблон. Из-за недостатка уникальности шаблонного текста Google мог рассматривать страницы как дубликаты. В результате они были исключены из индекса с присвоением статуса «Crawled — currently not indexed».
Совместно с клиентом мы решили, какой неуникальный контент необходимо убрать со страниц описания продукта. Мы удалили одинаковое содержание с тысяч страниц. Это привело к значительному уменьшению URL-адресов со статусом «Crawled — currently not indexed», так как Google начал рассматривать каждую страницу как более уникальную.
Заключение
Надеюсь, наша статья поможет SEO-специалистам лучше понять загадочный статус «Crawled — currently not indexed», который появляется в Отчете об индексировании. Конечно, могут быть и другие причины, по которым Google классифицирует URL-адреса подобным образом, однако мы привели наиболее распространенные среди наших клиентов случаи.
Таким образом, Отчет об индексации является одним из самых мощных инструментов Search Console. Мы настоятельно рекомендуем с ним ознакомиться, поскольку во многом благодаря этому инструменту мы своевременно обнаруживаем все аномалии краулинга и индексирования, особенно на крупных сайтах. Если вы сталкивались с другими причинами попадания URL-адресов в отчет «Crawled — currently not indexed», сообщите об этом в комментариях!
Об авторе: