---
metadata:
  - name: generator
    content: Diplodoc Platform v5.66.1
alternate:
  - https://yandex.ru/support/webmaster/en/robot-workings/user-agent.md
  - https://yandex.ru/support/webmaster/ru/robot-workings/user-agent.md
  - href: https://yandex.ru/support/webmaster/ru/robot-workings/user-agent.md
    type: text/markdown
    title: Markdown version
  - href: https://yandex.ru/support/webmaster/ru/llms.txt?revision=r22014549
    rel: describedby
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.ru/support/webmaster/ru/llms.txt?revision=r22014549


# Директива User-agent

В файле `robots.txt` робот проверяет наличие записей, начинающихся с `User-agent:`, в них учитываются подстроки `Yandex` (регистр значения не имеет) или `*`. Если обнаружена строка `User-agent: Yandex`, то строка `User-agent: *` не учитывается. Если строки `User-agent: Yandex` и `User-agent: *` отсутствуют, считается, что доступ роботу не ограничен.

Роботам Яндекса можно указать отдельные директивы. О том, как роботы учитывают их, см. в разделе [Роботы Яндекса в логах сервера](https://yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots.md#robot-in-logs).

Если обнаружены директивы для конкретного робота, директивы `User-agent: Yandex` и `User-agent: *` не используются.

Пример:

```no-highlight
User-agent: YandexBot # будет использоваться только основным индексирующим роботом
Disallow: /*id=

User-agent: Yandex # будет использована всеми роботами Яндекса
Disallow: /*sid= # кроме основного индексирующего

User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin 
```

В соответствии со стандартом перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки. Символ `#` предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается. Подробно см. в разделе [Обработка символа #](https://yandex.ru/support/webmaster/ru/robot-workings/allow-disallow.md#hash).


{% note info %}

[Роботы Яндекса](https://yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots.md) могут выделять записи по наличию в строке `User-agent:`.

{% endnote %}

{% note info "" %}

Некоторые роботы Яндекса могут игнорировать указания в `robots.txt`, в том числе для `User-Agent: Yandex`. Чтобы задать директивы для таких роботов, пропишите их в `robots.txt` с указанием конкретных `User-Agent`. Подробнее см. в разделе [Роботы Яндекса в логах сервера](https://yandex.ru/support/webmaster/ru/robot-workings/check-yandex-robots.md#robot-in-logs).

{% endnote %}


<!-- source: ru/_includes/cut-button-style.md -->

<!-- endsource: ru/_includes/cut-button-style.md -->


<!-- source: ru/_includes/popup/id-popup/chat-bot.md -->
<div class="help-block" role="complementary" aria-label="Блок помощи">

Если у вас остались вопросы, напишите в чат службы поддержки. Для этого в правом нижнем углу нажмите значок ![](../_assets/logo-mes-1.svg). Чат доступен ежедневно с 8:00 до 00:00 по московскому времени.

</div>


<!-- endsource: ru/_includes/popup/id-popup/chat-bot.md -->


<!-- source: ru/_includes/footer.md -->
<div width="100%" align="center" class="main-footer"> 
<br><br><br>
Также вы можете перейти на сервис 
<br><br>


[![](../_assets/logo/logo-pic.svg)](https://webmaster.yandex.ru/) [![](../_assets/logo/logo-ru.svg)](https://webmaster.yandex.ru/)





</div>


<!-- source: ru/_includes/styles/footer-style.md -->

<!-- endsource: ru/_includes/styles/footer-style.md -->
<!-- endsource: ru/_includes/footer.md -->