--- metadata: - name: generator content: Diplodoc Platform v5.66.1 alternate: - https://yandex.ru/support/webmaster/en/robot-workings/load-robots.md - https://yandex.ru/support/webmaster/ru/robot-workings/load-robots.md - href: https://yandex.ru/support/webmaster/ru/robot-workings/load-robots.md type: text/markdown title: Markdown version - href: https://yandex.ru/support/webmaster/ru/llms.txt?revision=r22014549 rel: describedby --- > **Documentation Index:** Fetch the complete configuration index at https://yandex.ru/support/webmaster/ru/llms.txt?revision=r22014549 # Как снизить нагрузку на сайт или сервер Индексирующий робот самостоятельно планирует посещение страниц сайта, регулируя нагрузку на сайт или сервер автоматически в зависимости от того, сколько новых или уже проиндексированных страниц сайта необходимо обойти. Иногда количество обращений робота может резко увеличиваться, например, если робот узнал о новом разделе сайта или изменилась структура и адреса страниц. Чтобы разобраться в причине роста обращений робота к сайту: 1. Проверьте количество загруженных роботом страниц и страниц, которые участвуют в поиске. Для этого перейдите в Вебмастер на страницу [Мои сайты](https://webmaster.yandex.ru/sites/). Если число загруженных страниц сильно превышает число страниц в поиске, то, вероятно, робот находит на сайте большое количество однотипных страниц, [страниц-дублей](https://yandex.ru/support/webmaster/ru/robot-workings/double.md), которые не должны индексироваться. ![](../_assets/highload.png =700x){.border-yes} 1. На странице **Индексирование** → **Статистика обхода** посмотрите, к каким страницам обращался робот в последнее время. Также эту информацию можно найти в логах сервера. Обратите внимание на страницы с GET-параметрами. Скорее всего, они содержат одинаковый контент. Например, если на сайте есть фильтры по каталогу, то страницы могут содержать параметр вида `?price=1000&max_price=1000000`. Или, если на сайте есть поиск, — `?search=<поисковая фраза>`. Несмотря на то, что робот обходит страницы с разными адресами, но с одинаковым контентом, они не могут участвовать в результатах поиска. 1. Добавьте директиву [Clean-param](https://yandex.ru/support/webmaster/ru/robot-workings/clean-param.md) в файл `robots.txt`. Она позволяет указать роботу на нужный URL среди дублирующих — нагрузка постепенно снизится. Также директива дает возможность передавать основному URL или сайту некоторые накопленные показатели. Чтобы быстро снять нагрузку от робота, добавьте директиву [Disallow](https://yandex.ru/support/webmaster/ru/robot-workings/allow-disallow.md#disallow) в файл `robots.txt`. Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл. Если вы считаете, что нагрузка не связана с лишними страницами, вы можете настроить сервер так, чтобы он отвечал [HTTP-кодом 429](https://yandex.ru/support/webmaster/ru/error-dictionary/http-codes.md#429). Такой ответ укажет на то, что сервер испытывает затруднения с нагрузкой — робот Яндекса уменьшит число обращений. Или самостоятельно [изменить скорость обхода сайта](https://yandex.ru/support/webmaster/ru/service/crawl-rate.md). ## Как снизить нагрузку на сайт с поддоменами {#load-robots-subdomen} Яндекс считает поддомены отдельными сайтами, поэтому робот обходит каждый поддомен. Поэтому нагрузка на сервер может возрастать в несколько раз. Чтобы снизить число обращений робота, проанализируйте лог сервера и определите источник большинства обращений. Если они исходят от поисковых систем и других роботов, то, скорее всего, контента основного домена достаточно, чтобы решать задачи посетителей. В этом случае вы можете пересмотреть структуру поддоменов и, возможно, отказаться от них или заменить на региональные разделы основного сайта. Также вы можете настроить сервер так, чтобы он отвечал [HTTP-кодом 429](https://yandex.ru/support/webmaster/ru/error-dictionary/http-codes.md#429). Такой ответ укажет на то, что сервер испытывает затруднения с нагрузкой — робот Яндекса уменьшит число обращений. Или самостоятельно [изменить скорость обхода сайта](https://yandex.ru/support/webmaster/ru/service/crawl-rate.md).



Также вы можете перейти на сервис

[![](../_assets/logo/logo-pic.svg)](https://webmaster.yandex.ru/) [![](../_assets/logo/logo-ru.svg)](https://webmaster.yandex.ru/)