Файл robots.txt

**Silver** · 11.03.2003, 20:03

Нужен он или нет?
Если нужен, то что в нем писать граммотно и что это все даст? Давно хочу узнать все про это!
ЗЫ: ведь у меня есть IP поисковых роботов... вроде так, но что с этого толку...

Spy · 12.03.2003, 00:02

http://web-dream.net/stat5.html
Вооот здесь очень хорошо все расписано. Ставим в View>Text size>large и читаем

.

**Silver** · 12.03.2003, 06:00

Ну так делать его или нет? За ссылку спасибо! Может хотя бы запретить индексацию скриптов и папки cgi-bin? И еще вопрос: как индексируется база MySQL или она вообще не индексируется?

Spy · 12.03.2003, 16:58

База она и в африке база

.
Она не индексируеться, а вот форум индексируеться.
Ну вот на папку cgi-bin не знаю, а вот скрипты не надо трогать. Например при поиске скрипта Форумы, человек зайдет в скрипт скриптов и скачает нужный скрипт

.

**Silver** · 12.03.2003, 18:28

Кто может мне создать robots.txt в режиме UNIX и прописать там без пробелов, сначала строки:

User-agent: *
Disallow: /cgi-bin/

И потом прислать мне на мыло! Заранее спасибо!
ЗЫ: создать надо в текстовом формате Unix!

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt	74ivan74	Вопросы по SEO	5	21.01.2010 19:19
Прикольный robots.txt	vitaly-go	Вопросы по SEO	1	25.12.2009 02:41
Robots.txt	filmmix	Поисковые системы	3	20.11.2009 17:16
Robots.txt	Volkodavteua	Поисковые системы	5	27.10.2009 12:49
Где ошибка в robots.txt?	koliuchij	Зал дебютантов	2	01.02.2005 10:54

11.03.2003, 20:03	#1
Silver	Нужен он или нет? Если нужен, то что в нем писать граммотно и что это все даст? Давно хочу узнать все про это! ЗЫ: ведь у меня есть IP поисковых роботов... вроде так, но что с этого толку...

12.03.2003, 00:02	#2
Spy	http://web-dream.net/stat5.html Вооот здесь очень хорошо все расписано. Ставим в View>Text size>large и читаем.

12.03.2003, 06:00	#3
Silver	Ну так делать его или нет? За ссылку спасибо! Может хотя бы запретить индексацию скриптов и папки cgi-bin? И еще вопрос: как индексируется база MySQL или она вообще не индексируется?

12.03.2003, 16:58	#4
Spy	База она и в африке база . Она не индексируеться, а вот форум индексируеться. Ну вот на папку cgi-bin не знаю, а вот скрипты не надо трогать. Например при поиске скрипта Форумы, человек зайдет в скрипт скриптов и скачает нужный скрипт .

12.03.2003, 18:28	#5
Silver	Кто может мне создать robots.txt в режиме UNIX и прописать там без пробелов, сначала строки: User-agent: * Disallow: /cgi-bin/ И потом прислать мне на мыло! Заранее спасибо! ЗЫ: создать надо в текстовом формате Unix!