robots.txt

74ivan74 · 21.01.2010, 17:16

Встречал несколько сайтов со странным robots.txt, странность в том, что в нем дублируется весь html код страницы и все.
В чем прикол, знает кто? Или это дибилизм в последней стадии?

vitaly-go · 21.01.2010, 17:19

дибилизм, обоснованный дибильным советом от .... сами знаете кого

нормальный роботс 3 строки ну или немного более если надо чтото спрятать, но это еще не факт что он туда не пойдет.

74ivan74 · 21.01.2010, 17:21

Цитата:

Сообщение от vitaly-go

советом от .... сами знаете кого

Кого?

vitaly-go · 21.01.2010, 17:49

74ivan74 наводящий вопрос: Кто дает дибильные советы? ...... . Правильно!

74ivan74 · 21.01.2010, 18:09

Ясно

vitaly-go · 21.01.2010, 19:19

идеальный роботс
________________
User-Agent: *
Disallow:
Host: www.site.ru
_________________
если интересны подробности читаем тут

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt и форум	74ivan74	Кальянная	1	17.08.2010 06:25
Прикольный robots.txt	vitaly-go	Вопросы по SEO	1	25.12.2009 02:41
Robots.txt	filmmix	Поисковые системы	3	20.11.2009 17:16
Robots.txt	Volkodavteua	Поисковые системы	5	27.10.2009 12:49
Файл robots.txt	Silver	Поисковые системы	4	12.03.2003 18:28

21.01.2010, 17:16	#1
74ivan74	Встречал несколько сайтов со странным robots.txt, странность в том, что в нем дублируется весь html код страницы и все. В чем прикол, знает кто? Или это дибилизм в последней стадии?

21.01.2010, 17:19	#2
vitaly-go	дибилизм, обоснованный дибильным советом от .... сами знаете кого нормальный роботс 3 строки ну или немного более если надо чтото спрятать, но это еще не факт что он туда не пойдет.

21.01.2010, 17:49	#4
vitaly-go	74ivan74 наводящий вопрос: Кто дает дибильные советы? ...... . Правильно!

21.01.2010, 19:19	#6
vitaly-go	идеальный роботс ________________ User-Agent: * Disallow: Host: www.site.ru _________________ если интересны подробности читаем тут