Быстрый способ проверить индексацию страниц в Яндексе и Google

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

• Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

• Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Инструмент онлайн-проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».

Возможности инструмента:

• одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);

• возможность проверки сразу всех URL сайта по XML-карте;

• нет ограничения по количеству URL.

Особенности:

• работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;

• выгрузка отчетов в формате XLSX;

• уведомление на почту об окончании сбора данных;

• хранение отчетов неограниченное время на сервере PromoPult.

Как работает инструмент проверки индексации

Шаг 1. Добавление URL

Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:

• Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

• Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

• Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:

• Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

site:yourdomain.ru

Получаем количество проиндексированных страниц — 684 и 1090.

Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

Как ускорить индексацию сайта: 5 способов на все случаи жизни

• Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.

Шаг 2. Указание ПС

На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.

Шаг 3. Получение результата

После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

Скачать отчет можно в формате XLSX:

В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).

С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:

Как найти и убрать смешанный контент на сайте с HTTPS

Сколько стоит использование инструмента

Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной. Анализ первых 100 URL бесплатно.

Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.

Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов.

Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

• Отдельные директивы для Яндекса и Google в robots.txt. В этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из поисковых роботов —  Googlebot или Yandexbot. Нужно проверить файл, и при необходимости исправить директивы

• Молодой сайт. Поисковикам требуется время, чтобы добавить все страницы в индекс. Если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.

• Нет XML-карты сайта. В последнее время ее значение для индексирования стало меньше (особенно об этом заявляют представители Google), но тем не менее она помогает поисковикам лучше понимать структуру сайта. Стоит ее создать и разместить в корне сайта.

• Наличие дублей страниц. Они возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение — найти и устранить дубли.

• Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение — найти «узкие места» и ускорить работу сайта.

• Редкая публикация нового контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — планомерно создавать новые страницы с уникальным интересным контентом, например, статьей для блога. Если у вас не хватает времени для такой работы, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах.

• Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет нескоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.

• Санкции поисковиков. Ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет. В этом случае стоит проверить сайт на наличие фильтров и при необходимости предпринять действия по выходу из-под них.

• Более 4 уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.

Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Заключение

Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!

Проверить индексацию страниц вашего сайта