Кейс перформанс-агентства KINETICA для «Амурфармации». Как мы увеличили трафик на 60% и при чём здесь Indexing API

О клиенте

Наш клиент — Амурфармация, одна из крупнейших аптечных сетей России с более чем 6000 точек по всей стране. Ежедневно тысячи пользователей посещают сайт сети, чтобы найти нужные лекарства, проверить их наличие и актуальные цены. Однако, несмотря на большой ассортимент и широкую аудиторию, продукт сталкивался с рядом проблем, ограничивающих его эффективность в органическом поиске.

Цели и задачи сотрудничества

Бизнес-целью клиента было увеличение органического трафика за счёт ускоренной индексации и улучшения позиций в поиске.

Основные задачи.

1. Сокращение времени индексации новых и обновлённых страниц, чтобы актуальная информация о товарах быстрее появлялась в поисковой выдаче.

2. Повышение видимости сайта в органической выдаче и конкуренция с маркетплейсами и агрегаторами.

3. Оптимизация структуры сайта и технического SEO, чтобы устранить проблемы с индексацией динамических страниц.

4. Увеличение кликабельности (CTR) и эффективности органического трафика за счёт улучшения сниппетов и работы с метаданными.

5. Снижение нагрузки на сервер путём оптимизации кода, изображений и ускорения работы сайта.

Решение

Сфокусировались на основной проблеме — низкий краулинговый бюджет.

Проблемы с индексированием часто встречаются у многостраничных сайтов, особенно после редизайна.

Основные причины.

• Неоптимальная структура страниц — страницы, удалённые от главной, сканируются реже, из-за чего ботам сложно попадать на «отдалённые» разделы.

• Отсутствие страниц в карта сайта — ПС отдаёт приоритет страницам, указанным в карте сайта (Sitemap).

• Низкий краулинговый бюджет — ограниченное число сканирований сайта ботами снижает частоту обновления страниц.

Для ускорения индексации страниц в Яндексе можно воспользоваться функцией «Переобход страниц» в Яндекс Вебмастере, отправив список необходимых URL-адресов. Яндекс оперативно обойдёт указанные страницы, но у Google аналогичной функции нет. В Google Search Console возможно отправлять страницы на переобход лишь по одной, что становится очень трудоёмким при большом объёме, особенно когда, как в нашем случае, сайт содержит около 80 000 страниц.

А как вообще появилась проблема с индексированием?

Низкий краулинговый бюджет — следствие истории предыдущего обхода домена. После редизайна часть страниц оставалась пустой и не содержала контента. Так, из-за пяти месяцев индексирования пустых страниц, поисковые системы снизили краулинговый бюджет сайта на обход HTML-документов в среднем до 50 запросов в сутки:

Какой способ для быстрой индексации мы нашли?

Для решения проблемы с большой долей неиндексируемого контента мы решили разработать и внедрить собственный скрипт с принудительной отправкой основных страниц на индексацию в поисковую систему одним днём с помощью Google Indexing API. Этот скрипт автоматически отправляет URL-адреса на индексацию сразу группами, что значительно сокращает время на индексирование контента, а внедрённые правки могут попадать на оценку поисковым системам в течение суток — для последующего ранжирования.

Данный скрипт также позволяет отправлять заявки на удаление «мусорных» страниц из индекса Google. Это помогает экономить краулинговый бюджет для обхода действительно приоритетных страниц.

Принцип работы скрипта основывается на индексации страниц через Google Indexing API.

1. Создаём сервисный аккаунт в Google Cloud Console, который будет использоваться для аутентификации и предоставления доступа к Indexing API.

2. Добавляем доступы к аккаунтам в Google Search Console (нельзя автоматизировать).

3. Загружаем список URL для индексирования в папку «удалить из индекса» или «добавить в индекс».

4. Запускаем скрипт.

Скрипт позволяет отправлять на индексацию до 200 страниц в день с одного аккаунта, но при создании дополнительных аккаунтов этот лимит можно увеличить. Это значительно ускоряет появление нового контента в поисковой выдаче Google.

Однако для многотысячных сайтов даже с этим ограничением процесс индексации может растянуться на месяцы. У нас, как у агентства, есть множество проектов, где такой сервис необходим, поэтому возникла потребность в решении, способном масштабировать лимиты отправки страниц.

Для того, чтобы решить этот вопрос мы предложили две опции.

1. Создать сразу несколько аккаунтов в Google и добавить их в Google Search Console с правами владельцев. В нашем случае число таких аккаунтов составило 50, что давало возможность отправлять до 10 000 страниц.

2. Заполнить форму обратной связи Google с просьбой об увеличении квот для аккаунта. Свой запрос необходимо обосновать, и если Google сочтёт причину увеличения лимитов обоснованной, то может пойти вам на уступки. Благодаря такой опции мы смогли увеличить лимит до 50 000 страниц.

Также при реализации было важно сделать скрипт не только полезным, но и удобным, чтобы отправка страниц на переобход занимала как можно меньше времени. Поэтому мы вынесли основные параметры, задаваемые скрипту, такие как список страниц и желаемый результат (добавляем или удаляем из индекса) в Google-таблицу, чтобы SEO-специалисты могли не погружаться в код.

Артём Первухин Продакшен-директор KINETICA

«Мы уделяем особое внимание разработке собственных решений, чтобы клиенты могли видеть ощутимый результат быстрее. Создавая такие инструменты, например, как уникальный скрипт, мы обеспечиваем оперативный контроль над индексацией: страницы выходят в выдачу практически мгновенно. Как показывает статистика, немногие агентства не готовы инвестировать в создание собственных продуктов, а для нас это — возможность улучшать работу и предлагать действительно ценные и полезные инструменты».

Результаты

Внедрение скрипта для отправки страниц на индексацию позволило уже через несколько недель занять лидирующие позиции по некоторым кластерам интернет-аптеки:

Спустя ещё несколько отправок страниц на переобход по части кластеров значительно увеличились показы в выдаче.

Пример ранжирования запросов кластера «антикоагулянты» в поисковой системе Google:

Благодаря улучшению сканирования сайта и увеличению числа страниц в индексе, внесённые технические и контентные рекомендации стали приносить свои плоды. Органический трафик вырос на 62%: с 59 000 в июне до 95 500 в декабре.

Кейсы применения скрипта на других проектах

Сейчас скрипт используется для большинства проектов в продвижении, которые испытывают трудности с полнотой индексации.

Сократили число мусорных страниц в индексе

Например, информационному порталу, чьи позиции в поисковой выдаче «страдали» из-за большого числа малоценных страниц, скрипт помог исключить из индекса около 30 000 таких страниц. В результате проведённых переобходов удалось заметно улучшить видимость ресурса в поисковых системах.

Проиндексировали все товары и листинги за один день

Ещё один пример, когда скрипт позволил ускорить обход сайта. В небольшом интернет-магазине, специализирующемся на продаже сварочного оборудования, возникли трудности с индексированием товаров и категорий. С помощью скрипта мы ускорили процесс обхода сайта. После нескольких отправок страниц на переобход через Indexing API количество проиндексированных страниц в Google выросло с 340 до 640 всего за один день. Это помогло улучшить видимость магазина и привлечь больше клиентов.

С помощью разработанного скрипта мы не только оптимизировали процесс отправки URL на индексацию, но и существенно сократили время, необходимое для обновления контента в поисковых системах. Благодаря этому, увеличили органический трафик на 62% всего за несколько месяцев.