Админка индексатора Google

В разделе "История Google" отображаются все успешно отправленные на индексацию в Google ссылки. Т.е. если был отправлен запрос Google Indexing API и был получен ответ 200. Список ссылок выводится в виде таблицы:

• URL - адрес индексируемой страницы.
• Дата - дата отправки запроса Google Indexing API.
• Тип запроса - URL_UPDATED или URL_DELETED.
• Чужая ссылка - если эта ссылка вам не принадлежит.
• Ключ - название ключа Google Indexing API, с которого был отправлен запрос.

Над таблицей показано, сколько всего отправлено запросов, а также ссылка для скачивания отчета в csv.

Ключи Indexing API

Управление ключами для отправки запросов Google indexing API происходит в разделе "Ключи Indexing API" индексатора Google. Здесь выводится список всех ключей, загруженных в админку. Вы можете удалять отдельные ключи, выключать или отключать их. Список ключей выводится в виде таблицы:

• ID ключа.
• Ключ - здесь название ключа и синяя кнопка для быстрого копирования сервисного email из ключа для привязки ключа к сайту в Google Search Console.
• Активность. Зеленая иконка - ключ включен. Красная иконка - ключ отключен. Иконка является кнопкой. Нажмите на нее, чтобы изменить статус.
• Отработал. Если включена пакетная отправка запросов в опциях, то при срабатывании ключ помечается меткой, а в этом столбце показывается процент отработанности.
• Действия. В этом столбце две кнопки: проверка ключа и удаление.

Над списком ключей выводится информационный блок, в котором содержится информация о том, сколько всего добавлено ключей Google Indexing API, сколько из них активных. Под этими данными выводятся ссылки для действий. Если все ключи активные, то выводится ссылка "Отключить все", при нажатии на которую все ключи будут деактивированы. Если все ключи отключены, то выводится ссылка "Включить все". Если ключи включены частично, то будут выводиться обе кнопки.

Также в этом блоке выводится количество отработанных ключей на текущий момент, если включена пакетная отправка запросов и в списке есть ключи, которые полностью или частично отработали.

Над таблицей со списком ключей находится меню действий. Можно добавить один ключ, много ключей (загрузите zip-архив с ключами), скачать список сервисных email из всех ключей или удалить все ключи.

IndexNow

В индексатор сайтов встроена возможность отправлять запросы по протоколу IndexNow для индексации сайтов в Яндексе и Бинге. Интерфейс этого функционала вынесен в отдельный раздел. Вверху раздела находится блок с инструкцией по установке ключа IndexNow, а также кнопками для управления отправкой запросов. Ниже находится список ссылок очереди для отправки запросов IndexNow в виде таблицы:

Над списком ссылок находится меню. Вы можете очистить очередь IndexNow или перейти в историю. Ссылки в истории также отображаются в виде таблицы:

Добавить ссылки

В этом разделе индексатора сайтов Google добавляются ссылки в очередь на индексацию в Google или в очередь IndexNow.

При добавлении в очередь для индексации в Google также можно выбрать тип запроса: URL_UPDATED (для новых или измененных страниц) или URL_DELETED (для удаления из индекса).

Способы добавления ссылок в очередь 

Ручное добавление

Вставьте в текстовое поле список ссылок, по одной ссылке в каждой строке. По умолчанию установлен лимит - 1000 ссылок за один раз. Из списка удаляются дубликаты, а также происходит проверка наличия этих ссылок в очереди. Вы можете отключить эти проверки и лимит с помощью опции "отключить лимит" ниже под полем ввода. В этом случае уникальность ссылок проверяться не будет, все ссылки будут добавлены в очередь одним запросом, количество ссылок для добавления в этом случае не ограничено.

Из txt-файла

Большое количество ссылок, вставляемых из буфера обмена, может замедлить ваш компьютер. Если у вас сотни тысяч ссылок, которые нужно добавить в очередь на индексацию, то лучше это сделать с помощью загрузки txt-файла. В этом файле должен быть список ссылок, по одной ссылке в каждой строке.

Из файла sitemap.xml

Также есть возможность добавлять ссылки из карты сайта sitemap.xml. Вы можете загрузить файл карты сайта в форматах xml или xml.gz. Кроме того, можно загрузить zip-архив, содержащий несколько карт сайта в формате xml.

Кроме того, можно вместо загрузки файлов просто указать адрес карты сайта. А если это индексная карта сайта, то, включив опцию ниже, скрипт обработает все вложенные карты. Обратите внимание, что вложенные карты сайта должны быть в с расширением xml. Также стоит отметить, что если ваш сайт работает через cloadflare или другие блокировщики, чтобы загрузка карты сайта по ссылке сработала, нужно добавить индексатор в белый список используемого блокировщика.

Генератор ссылок

В скрипт встроена возможность генерировать ссылки путем склеивания частей, одна из которых - все доступные комбинации из набора символов. Имейте ввиду, что для генерации больших объемов ссылок требуется большой размер оперативной памяти.

Чужие ссылки

Если вы добавляете в очередь на индексацию бэклинки или ссылки сайтов, которые вам не принадлежат, то внизу формы включите опцию "Это чужие ссылки".

Sitemaps Checker

Индексатор сайтов в Google имеет встроенный функционал для отслеживания изменений в картах сайта sitemap.xml и автоматического добавления ссылок новых или измененных страниц в очередь на индексацию в Google или в очередь IndexNow.

Принцип работы

Добавляете карту сайта для отслеживания. Ссылка на карту сайта добавляется в очередь на обработку. По заданию планировщика скрипт загружает карту сайта с сайта и записывает структуру карт сайта. Каждая вложенная карта сайта записывается отдельно, что позволяет производить тонкие настройки - включать или отключать отдельные карты сайта, изменять режим отслеживания.

После обработки карты сайта скрипт будет периодически через установленный интервал времени загружать по одной карте сайта и извлекать из нее ссылки, добавляя их в очередь на индексацию в Google или в очередь IndexNow.

Все возможности компонента Sitemaps Checker

• Любая вложенность карт сайта, поддерживаются xml и xml.gz карты на любом уровне вложенности.
• Два режима работы: новые ссылки и по lastmod (за вчера, за сегодня или за вчера и сегодня).
• Исключения, чтобы при сканировании не добавлять одни и те же ссылки.
• Автоматическое добавление исключений для сайта из очереди и истории в момент добавления карты сайта для отслеживания.
• Ручное добавление исключений из списка, txt-файла и карты сайта.
• Возможность отключать карты сайта, в том числе вложенные, а также для каждой карты сайта указать свой режим работы. Например, новости могут добавляться в режиме "новые", а статьи по lastmod.

Опции

В разделе опций индексатора Google содержится форма для настроек процесса индексирования. По умолчанию включен режим штучной отправки запросов. Если вы используете больше 40 ключей Google Indexing API, то в опциях вам нужно включить пакетную отправку запросов. Это улучшит эффективность отправки запросов на индексацию в Google, а также снизит нагрузку на сервер.

При включении пакетной отправки запросов, вы можете выбрать, сколько использовать ключей при каждом запуске, а также установить задержку между отправкой запросов Google indexing API с каждого ключа, если при каждом запуске отрабатывает больше, чем один ключ.

Здесь же можно отключить фиксацию ошибок. Эта опция нужна для того, чтобы скрипт продолжал работать не смотря ни на то. При пакетной отправке запросов невозможно получить код ответа для каждой конкретной ссылки, если ответ не 200. Таким образом, если ошибки фиксируются, все успешные запросы будут из очереди переходить в историю, а все запросы, где ответ не 200, будут помечаться ошибкой 999. Но причина ошибки может быть любая, в том числе неполадки на стороне сервера Google. Ссылки, помеченные кодом ошибки, не отправляются на индексацию в Google. Чтобы такого не происходило, отключите фиксацию ошибок.

В опциях индексатора Google можно развернуть очередь. Например, у вас добавлено несколько тысяч ссылок в очередь на индексацию в Google, но в какой-то момент вы хотите быстро проиндексировать несколько ссылок. При добавлении новых ссылок, они окажутся в конце очереди. И они будут отправлены только после того, как будут отправлены верхние ссылки. Но если вы включите опцию "Обратный порядок очереди", отправка запросов Google Indexing API будет происходить с конца очереди.

Ниже в разделе опций вы можете установить секрет для генерации ключа IndexNow. Используйте любой набор символов.

Последнее поле в опциях - поле для ввода кода подтверждения Google Search Console. Если вы хотите отправлять на индексацию в Google обратные ссылки или индексировать любые сайты, не привязывая к ним ключи Indexing API, вам нужно будет привязать ключи к самому индексатору. Для этого вы должны добавить индексатор в Google Search Console. Выберите способ подтверждения "Тег HTML", а полученный код вставьте в это поле.

Во вкладке API в разделе опций вы можете ввести ключ для собственного REST API, с помощью которого вы можете отправлять запросы к индексатору для добавления ссылок в очередь на индексацию. Подробное описание методов REST API находится в инструкции в админке индексатора.

Инструкция

В админке индексатора сайтов в Google находится подробная инструкция по использованию скрипта, в том числе о том, как создавать ключи Google Indexing API и как их привязывать к сайтам, которые вы хотите индексировать. Раздел содержит следующие подразделы:

• Добавление сайта Google Search Console;
• Создание сервисного аккаунта и получение JSON-ключа Google Indexing API;
• Добавление ключей в админку индексатора;
• Связь сервисного аккаунта с Google Search Console;
• Добавление ссылок;
• Использование нескольких ключей;
• Возможные ошибки;
• Использование API для автоматического добавления ссылок в очередь на индексацию.

Лицензии

Весь функционал индексатора сайтов в Google разделен на части, активация того или иного функционала происходит путем ввода ключа лицензии, соответствующего домену. Один ключ лицензии, кроме универсального, может быть использован только на одном домене.

Ключи активации индексатора Google

• Индексатор. Весь функционал для управления ключами Google Indexing API и отправки запросов на индексацию в Google. Индексация бэклинков в Google. А также управление очередью и отправкой запросов IndexNow.
• Sitemaps Checker. Активирует функционал для отслеживания карт сайта sitemap.xml и автоматического добавления ссылок в очередь на индексацию.
• Универсальный ключ. Активирует все доступные функции без привязки к домену.

По мере появления нового функционала, могут появляться новые типы ключей.

При покупке индексатора Google вы можете выбрать, какой функционал вам нужен, а также указать, для каких доменов вы хотите приобрести лицензии. Универсальный ключ приобретается для любых доменов и открывает все возможности индексатора Google. Но не дает права на передачу скрипта третьим лицам.

Пользователи

В разделе "Пользователи" в админке индексатора сайтов в Google вы можете добавлять сотрудников и управлять ими. На главной странице раздела выводится список пользователей:

Нажмите на кнопку "Добавить пользователя", чтобы добавить новый профиль. На открывшейся странице введите email, пароль и никнейм сотрудника.

Пользователи имеют доступ ко всем инструментам для индексации ссылок в Google. Они могут загружать ключи Google Indexing API в админку, добавлять и удалять ссылки в очередь для индексации в Google или в очередь IndexNow. Но у них нет доступа к настройкам, а также к разделу с пользователями.

Для исключения недоразумений удалить пользователя нельзя, но его можно заблокировать на время или навсегда. Заблокированный пользователь не сможет войти в свой аккаунт.

reCAPTCHA

Для защиты админки индексатора Google от подбора пароля, в форму входа добавлена reCAPTCHA. Это не защитит вашу учетную запись на 100%, но усложнит работу спамерам. Рекомендуется устанавливать сложный пароль от админки.

Настройки reCAPTCHA сводятся к получению публичного и секретного ключа. Ссылка на страницу получения ключей есть в разделе настроек reCAPTCHA.

При создании ключей reCAPTCHA выбирайте "V2 - Я не робот".

Установщик пакетов