Вернуться   Дизайнерский форум » РАЗНОЕ » Кальянная

Запрет индексации повторяющегося контента

Обсуждение темы Запрет индексации повторяющегося контента в разделе Кальянная, часть категории РАЗНОЕ; Сделал DLE сайт и задумался о оптимизации и прочем. Вопрос, есть страница index.php открываямая по умолчанию как главная, есть директория home (главная) и ...


Закрытая тема
 
Опции темы
Старый 17.01.2011, 16:24   #1
Сделал DLE сайт и задумался о оптимизации и прочем.
Вопрос, есть страница index.php открываямая по умолчанию как главная, есть директория home (главная) и куча других.
Поместил новость в /home/ и вывел на главную index.php, по другому на главной index.php новость не опубликовать.

Получилось, что данная новость доступна аж по 3 адресам
index.php
/home/
и новость.html это полная новость опубликованная в /home/

Сайт уже проиндексирован всеми поисковиками, предпочтение отдано директории /home/

Как избежать повторяющийся контент, ведь это на сколько я знаю влияет на ранжирование, выдачу и еще хз что.

Просто запретить в robots.txt новость.html не знаю можно или нет, т.к. ссылка весьма длинная, можно в робота пихать такие, наверное нет.

Прочел про
Цитата:
Директива Clean-param

Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Например, на сайте есть страницы:

http://www.site.ru/some_dir/get_book..._1&book_id=123
http://www.site.ru/some_dir/get_book..._2&book_id=123
http://www.site.ru/some_dir/get_book..._3&book_id=123

параметр 'ref=' используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой 'book_id=123'. Тогда, если в robots.txt указать:

Clean-param: ref /some_dir/get_book.pl

вот так:

User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl

робот Яндекса сведет все адреса страницы к одному:

http://www.site.ru/some_dir/get_book..._1&book_id=123,

Если на сайте доступна страница без параметров:

www.site.ru/some_dir/get_book.pl?book_id=123

То все сведется именно к ней, когда она будет проиндексирована роботом. Другие страницы вашего сайта будут обходиться чаще, так как нет необходимости обновлять страницы:

http://www.site.ru/some_dir/get_book..._2&book_id=123
http://www.site.ru/some_dir/get_book..._3&book_id=123
не х не понял.

Что посоветуете, как убрать два дубля одной новости, или хотябы один?
Можно ли в робота пихнуть ссылку в 50 знаков?

Спасибо!
 
Старый 17.01.2011, 16:24
Ссылки
Старый 17.01.2011, 17:01   #2
Запретить можно так

Но может лучше разные анкоры сделать ?
 
Этот пользователь сказал спасибо Ni_Splinter за это полезное сообщение:
74ivan74 (17.01.2011)
Старый 17.01.2011, 17:06   #3
Ni_Splinter вы не совсем правильно поняли вопрос
 
Этот пользователь сказал спасибо vitaly-go за это полезное сообщение:
74ivan74 (17.01.2011)
Старый 17.01.2011, 17:49   #4
Цитата:
Сообщение от vitaly-go Посмотреть сообщение
Ni_Splinter вы не совсем правильно поняли вопрос
Да, не совсем правильно.
 
Старый 17.01.2011, 18:18   #5
74ivan74 про новость я и сам немного непонял, как это,

тоесть если брать за обычную структуру новостную, то

index.php - краткое описание
/news/ - краткое описание новости
/news/news111.php - полное описание новости
в данном случае, надо было изначально делать корневой новостной каталог
в / а не в /news/

да и... что она у вас везде целиком?

а что касательно дле я хз как оно там, может так нельзя...
 
Старый 17.01.2011, 18:39   #6
Да, дубли полностью полной новости три раза.
на главной, в хоме и из хоме идет этаже новость но в другой странице, т.е. в хоме можно напихать 1000 новосте и у каждой будет свой урл не в директории хоме.
Сейчас закрыл индексацию новости с урл такого вида
новость-новость-новость-новость.html в robots.txt но думаю, что это ошибочно и в robots.txt нельзя прописывать такие длинные урл

Добавлено через 1 минуту

Цитата:
Сообщение от vitaly-go Посмотреть сообщение
в данном случае, надо было изначально делать корневой новостной каталог
в / а не в /news/
Там такая фишка, что прежде чем в корень попасть, нужно в какойто раздел новость сохранить (раздел хоме, публиковать на главной?), т.е. по любому 2 новости получается, а я еще и на главную вывел.

Последний раз редактировалось 74ivan74; 17.01.2011 в 18:43.. Причина: Добавлено сообщение
 
Старый 17.01.2011, 19:16   #7
Цитата:
Сообщение от vitaly-go Посмотреть сообщение
да и... что она у вас везде целиком?
?


вот пример грубый, на морде в шапке кратко
далее в статьях полная
ну и в статьях краткие и их много, отовсюду почутчуть

и вот еще 1 главный пример 3dnews.ru

его роботс

User-agent: *
Disallow:/pda
Host: www.3dnews.ru

Последний раз редактировалось vitaly-go; 17.01.2011 в 19:20..
 
Старый 17.01.2011, 20:06   #8
Цитата:
Сообщение от vitaly-go Посмотреть сообщение
да и... что она у вас везде целиком?
Да

Добавлено через 16 минут

Наверное проще дописать данную статью, увеличив в 2 раза и сделать вывод в хоме и главной тот, что и сейчас но со ссылкой подробнее на 3 увеличенный в два раза дубликат.

Последний раз редактировалось 74ivan74; 17.01.2011 в 20:07.. Причина: Добавлено сообщение
 
Старый 17.01.2011, 20:08   #9
потерто
 
Старый 17.01.2011, 20:08
Закрытая тема


Опции темы


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Продажа уникального контента allwotlk Кальянная 5 13.11.2013 17:57
Использование бесплатного контента PtoEtContra Вопросы по SEO 1 17.10.2011 08:14
Вопрос по гугл индексации PashWM Поисковые системы 2 26.06.2011 22:17
Запрет правой кнопки Pett HTML, CSS, JavaScript 10 19.09.2009 23:01
Запрет кеширования Scroll ASP, Perl, PHP и MySQL 1 28.06.2006 18:46


Текущее время: 06:22. Часовой пояс GMT +4.

Реклама на форуме Условия размещения рекламы
Биржа ссылок Заработай на сайте!
Тарифный план «Lite»
Место: 1000 Мб
Трафик: неограниченный
Панель управления
Заказать ТП «Lite»
Тарифный план «Normal»
Место: 2000 Мб
Трафик: неограниченный
Поддержка скриптов
Заказать ТП «Normal»
Тарифный план «Profy»
Место: 7000 Мб
Трафик: неограниченный
Поддержка скриптов
Заказать ТП «Profy»
Тарифный план «Места хватит!»
Место: 25 ГБ
Трафик: неограниченный
Поддержка SSI, ssh
Заказать ТП «Места хватит!»
Дизайнерский форум