[sovlin]

Подскажите пожалуйста, у меня на сервере лежит файл robots.txt
в нем такое содержание:
User-Agent: *
Disallow:
Вопрос 1. Эта запись разрешает всем роботам индексировать все страницы сайта?
Вопрос 2. Допустим я хочу закрыть для индексации страницу mypage.html, что мне надо прописать.
Вопрос 3. Можно ли не радактировать файл robots.txt, а в самой странице mypage.html вставить нужный тег <meta>, если можно, то как этот тег тогда будет выглядеть.
Вопрос 4. Что лучше, чтобы не напрягать робота - изменить файл robots.txt или вставить тег <meta> в нужную страницу?

[vitaly-go]

читаем внимательно, расписано все что вам нужно знать

[74ivan74]

Сообщение от sovlin

User-Agent: *
Disallow:

Эта запись разрешает всем роботам индексировать все страницы сайта

Сообщение от sovlin

Что лучше, чтобы не напрягать робота - изменить файл robots.txt или вставить тег <meta> в нужную страницу?

изменить файл robots.txt