Вернуться   Дизайнерский форум » РАЗНОЕ » Кальянная

User-agent в robots.txt

Обсуждение темы User-agent в robots.txt в разделе Кальянная, часть категории РАЗНОЕ; Пожалуйста, кто сечет в robots.txt гляньте, правильно ли я составил robots.txt Может что-то нужно добавить или убрать, я хочу избежать индексирования страниц типа: ...


Закрытая тема
 
Опции темы
Старый 17.08.2009, 21:03   #1
Пожалуйста, кто сечет в robots.txt гляньте, правильно ли я составил robots.txt

Может что-то нужно добавить или убрать, я хочу избежать индексирования страниц типа:

Регистрация посетителя » Your-Sites
Обратная связь » Your-Sites
Your-Sites > Версия для печати > Добро пожаловать

User-agent: *
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.your-sites.ru

User-agent: Yandex
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: googlebot
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: Googlebot-Image
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: Mediapartners-Google*
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: Slurp
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

User-agent: msnbot
Allow: /
Sitemap: http://www.your-sites.ru/sitemap.xml
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
 
Старый 17.08.2009, 21:03
Ссылки
Старый 18.08.2009, 06:42   #2
Будет достаточно одного для всех роботов, только вот так:
Цитата:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.your-sites.ru
Sitemap: http://www.your-sites.ru/sitemap.xml
 
2 пользователя(ей) сказали cпасибо:
74ivan74 (18.08.2009), Niemans (18.08.2009)
Старый 18.08.2009, 06:42
Закрытая тема




Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Изменение вида представления роботов Яндекса в User-Agent - robots.txt 74ivan74 Вопросы по SEO 4 31.05.2010 06:23
robots.txt 74ivan74 Вопросы по SEO 5 21.01.2010 19:19
Robots.txt filmmix Поисковые системы 3 20.11.2009 17:16
Robots.txt Volkodavteua Поисковые системы 5 27.10.2009 12:49
Файл robots.txt Silver Поисковые системы 4 12.03.2003 18:28


Текущее время: 07:56. Часовой пояс GMT +4.

Реклама на форуме Условия размещения рекламы
Биржа ссылок Заработай на сайте!
Дизайнерский форум