[koliuchij]

Всеже что за параметр
Host: rsvyaz.ru
В роботсе...

[Casper]

Нормальный Robots.txt должен состоять из двух полей -
строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:
User-agent: *
Disallow:

[koliuchij]

Casper:
Скорее всего просто ошибка, или чей-то прикол
Нормальный Robots.txt должен состоять из двух полей -
строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:
User-agent: *
Disallow:

Так вот их две и есть
Это вторая

[Casper]

koliuchij:

Так вот их две и есть
Это вторая

Нет, ты меня неправильно понял.
Первая строка может быть только одного вида:
User-agent:

Вторая строка тоже может быть только одного вида:
Disallow:

Возможны различные варианты, но только с использованием этих строк!

[koliuchij]

Casper:


Нет, ты меня неправильно понял.
Первая строка может быть только одного вида:
User-agent:

Вторая строка тоже может быть только одного вида:
Disallow:

Возможны различные варианты, но только с использованием этих строк!

Понял...
Эх поймать бы предшественника...

[Casper]

koliuchij:
Всеже что за параметр
Host: rsvyaz.ru
В роботсе...

Век живи - век учись. Оказывается не все источники верные. Только что узнал, что существует и третья строка (то есть первые две, о которых я писал выше - обязательные). Именно та - о которой ты спрашиваешь. Она означает определение главного зеркала сайта. А вот индексировать это зеркало или нет - об этом говорят первые две строки, а точнее одна - Disallow: