Поисковый робот получает задачу на сканирование с помощью ссылок, поэтому необходимо выполнить проверку файла  robots.

В настоящее время по умолчанию установлен английский язык, также поддерживается французский, итальянский, испанский и китайский.