User-agent в robots.txt

74ivan74 · 17.08.2009, 21:03

Пожалуйста, кто сечет в robots.txt гляньте, правильно ли я составил robots.txt

Может что-то нужно добавить или убрать, я хочу избежать индексирования страниц типа:

Регистрация посетителя » Your-Sites
Обратная связь » Your-Sites
Your-Sites > Версия для печати > Добро пожаловать

User-agent: *
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.your-sites.ru

User-agent: Yandex
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: googlebot
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: Googlebot-Image
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: Mediapartners-Google*
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: Slurp
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: msnbot
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

**Silver** · 18.08.2009, 06:42

Будет достаточно одного для всех роботов, только вот так:

Цитата:

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.your-sites.ru
Sitemap: http://www.your-sites.ru/sitemap.xml

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Изменение вида представления роботов Яндекса в User-Agent - robots.txt	74ivan74	Вопросы по SEO	4	31.05.2010 06:23
robots.txt	74ivan74	Вопросы по SEO	5	21.01.2010 19:19
Robots.txt	filmmix	Поисковые системы	3	20.11.2009 17:16
Robots.txt	Volkodavteua	Поисковые системы	5	27.10.2009 12:49
Файл robots.txt	Silver	Поисковые системы	4	12.03.2003 18:28

17.08.2009, 21:03	#1
74ivan74	Пожалуйста, кто сечет в robots.txt гляньте, правильно ли я составил robots.txt Может что-то нужно добавить или убрать, я хочу избежать индексирования страниц типа: Регистрация посетителя » Your-Sites Обратная связь » Your-Sites Your-Sites > Версия для печати > Добро пожаловать User-agent: * Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html Host: www.your-sites.ru User-agent: Yandex Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html User-agent: googlebot Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html User-agent: Googlebot-Image Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html User-agent: Mediapartners-Google* Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html User-agent: Slurp Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html User-agent: msnbot Allow: / Sitemap: http://www.your-sites.ru/sitemap.xml Disallow: /*print Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /index.php?do=register Disallow: /?do=lastcomments Disallow: /statistics.html