Индексация своих сайтов в Google
Когда вы установили индексатор Google на сервер и выполнили подготовительные работы для индексации, вам остается только добавлять ссылки в очередь на индексацию. Перейдите в раздел "Добавить ссылки" и загрузите ссылки в очередь выбранным способом.
Все новые ссылки добавляются в конец очереди, но вы можете развернуть очередь в опциях.
Штучная отправка запросов Google Indexing API
По умолчанию индексатор работает в режиме штучной отправки запросов. Автоматизация происходит с помощью планировщика Cron. Каждые 7 минут выполняется задание планировщика, при этом с каждого загруженного в админку и активированного ключа Google Indexing API отправляется по одной ссылке из очереди.
Если после отправки запроса Google Indexing API был получен ответ 200, значит ссылка отправлена успешно. Такая ссылка из очереди перемещается в историю.
Если получен другой ответ, например, 403, ссылка останется в очереди. Она будет выделена красным цветом, а рядом с ней будет указан ключ, с которого был отправлен запрос Google Indexing API.
Если же получен другой ответ, то ссылка просто останется в очереди до следующего запуска.
Таким образом, если у вас добавлено, например, 35 ключей, то каждые 7 минут будет отправляться по 35 ссылок.
При отправке запроса Google Indexing API в режиме штучной отправки сканирующий бот Google сканирует отправляемую страницу в момент отправки запроса. Т.е. если ссылка из очереди перешла в историю, значит страница уже просканирована!
Пакетная отправка запросов Google Indexing API
В опциях индексатора вы можете переключиться на пакетную отправку запросов. Это обязательно нужно сделать, если вы используете больше, чем 40 ключей. Если вы этого не сделаете, скрипт может работать с ошибками, вызывая большую нагрузку на ваш сервер и на сервер Google.
В режиме пакетной отправки запросов Google Indexing API при каждом запуске задания планировщика полностью отрабатывает один ключ. Согласно документации Google Indexing API, в одном пакетном запросе может быть не больше, чем 100 ссылок. На практике выяснилось, что при таком объеме ссылок в одном запросе гуглбот посещает не все из них. Мы снизили это значение до 5 ссылок в запросе. Всего отправляется 40 запросов по 5 ссылок в каждом.
Все успешные запросы (с кодом 200) из очереди перемещаются в историю. Если ответ не 200, то ссылки помечаются в очереди кодом 999 и выделяются красным цветом. При пакетных запросах невозможно установить причину для отдельной ссылки, почему ответ не 200. Это может быть как ошибка 403, так и любой другой код ответа, включая ошибку на стороне сервера Google. Чтобы не прерывать процесс индексации из-за временных ошибок, устранить которые невозможно с вашей стороны, в опциях вы можете отключить фиксацию ошибок.
При отправке пакетных запросов гуглбот сканирует страницы с небольшой задержкой - от 2-3 секунд до 10 минут.
Автоматическая индексация в Google
Вы можете настроить автоматическую индексацию сайта в Google с помощью дополнительного компонента Sitemaps Checker. Процесс индексации не отличается от ручного, преимущество только в том, что индексатор будет сам сканировать sitemap вашего сайта и добавлять ссылки в очередь автоматически при появлении новых страниц или измененных, в зависимости от выбранного режима сканирования.
Срок попадания страниц в индекс Google
Вне зависимости от режима отправки запросов Google Indexing API (штучные запросы или пакетные), отправленные страницы попадают в индекс Google обычно от 2-3 часов до 2-3 дней.
