Описание индексатора

Автоматический индексатор Google представляет собой скрипт, работающий на основе Google Indexing API. При отправке запросов Google Indexing API сканирующий бот Google мгновенно посещает страницы, адреса которых были отправлены в запросе. Таким образом достигается быстрая индексация любых сайтов.

Скрипт устанавливается на сервере, как обычный сайт. Для установки скрипта подойдет практически любой хостинг или VPS, соответствующий системным требованиям:

• Веб-сервер Apache с установленным модулем mod_rewrite (или без него, если Apache >= 2.2.16);
• Интерпретатор PHP версии 7.2 - 8.1;
• Модули для PHP: gd, iconv, mbstring, simplexml, json, filter, zip;
• СУБД MySQL 5.7+, MariaDB;
• ОЗУ от 1 ГБ (memory_limit от 1024 MB);
• Планировщик Cron с выполнением раз в минуту;
• IonCube loader для вашей версии PHP;
• IPv4.

Админка индексатора состоит из разделов:

• Очередь Google - список ссылок в очереди на индексацию в Google.
• История Google - список ссылок, успешно отправленных на индексацию.
• Ключи Indexing API - список json-ключей, необходимых для отправки запросов Google Indexing API.
• IndexNow - дополнительный функwионал для индексации в Яндексе и Бинге.
• Добавить ссылки - в этом разделе добавляются ссылки в очередь на индексацию.
• Sitemaps Checker - отслеживание изменений в картах сайта для автоматического добавления ссылок в очередь на индексацию.
• Опции - раздел с настройками индексатора.
• Инструкция - поможет настроить и запустить скрипт в работу.
• Лицензии - в этом разделе вводятся ключи лицензии.
• Пользователи - вы можете создавать пользователей и управлять ими.
• Капча reCaptcha - настройки для защиты от подбора пароля для входа в админку.
• Установщик пакетов - раздел для установки дополнений и обновлений.
• Настройки - здесь настраивается админка.
• Система - информация о системе.

Автоматический индексатор Google работает на основе InstantCMS, но в облегченной ее версии. Был удален весь лишний функционал, который не нужен для работ админки и индексации сайтов. Таким образом, скрипт не привязан ни к какому из движков, с помощью него можно индексировать сайты на любых системах управления контентом.

Принцип работы индексатора Google

Когда индексатор установлен и настроен, получены ключи и привязаны к сайту, вся дальнейшая работа сводится к добавлению ссылок в очередь на индексацию. Вы можете добавить сразу все ссылки, которые необходимо проиндексировать. Используя все активные ключи скрипт автоматически будет отправлять запросы Google Indexing API. Все успешные запросы из очереди перейдут в историю, где вы сможете просматривать, когда и какая ссылка была отправлена.

Режимы работы

Скрипт может работать в режиме штучной или пакетной отправки запросов Google Indexing API.

Штучная отправка запросов

Каждые 7 минут индексатор загружает все активные ключи и с каждого из них отправляет по одной ссылке. В этом режиме гуглбот приходит на индексируемую страницу непосредственно в момент отправки запроса. Т.е. запрос в этом режиме - это сканирование страницы гуглботом. Отправка происходит равномерно в течение суток.

Пакетная отправка запросов

Если вы используете больше, чем 40 ключей, в опциях необходимо активировать этот режим. При каждом запуске полностью отрабатывает один ключ - отправляется 200 ссылок из очереди. В этом режиме гугбот приходит на страницы через несколько секунд после отправки запроса. Отработанный ключ помечается, а ровно через сутки после последнего запуска эта метка будет сброшена и ключ отработает опять.