[74ivan74]

Сделал DLE сайт и задумался о оптимизации и прочем.
Вопрос, есть страница index.php открываямая по умолчанию как главная, есть директория home (главная) и куча других.
Поместил новость в /home/ и вывел на главную index.php, по другому на главной index.php новость не опубликовать.

Получилось, что данная новость доступна аж по 3 адресам
index.php
/home/
и новость.html это полная новость опубликованная в /home/

Сайт уже проиндексирован всеми поисковиками, предпочтение отдано директории /home/

Как избежать повторяющийся контент, ведь это на сколько я знаю влияет на ранжирование, выдачу и еще хз что.

Просто запретить в robots.txt новость.html не знаю можно или нет, т.к. ссылка весьма длинная, можно в робота пихать такие, наверное нет.

Прочел про

Директива Clean-param

Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Например, на сайте есть страницы:

http://www.site.ru/some_dir/get_book..._1&book_id=123
http://www.site.ru/some_dir/get_book..._2&book_id=123
http://www.site.ru/some_dir/get_book..._3&book_id=123

параметр 'ref=' используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой 'book_id=123'. Тогда, если в robots.txt указать:

Clean-param: ref /some_dir/get_book.pl

вот так:

User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl

робот Яндекса сведет все адреса страницы к одному:

http://www.site.ru/some_dir/get_book..._1&book_id=123,

Если на сайте доступна страница без параметров:

www.site.ru/some_dir/get_book.pl?book_id=123

То все сведется именно к ней, когда она будет проиндексирована роботом. Другие страницы вашего сайта будут обходиться чаще, так как нет необходимости обновлять страницы:

http://www.site.ru/some_dir/get_book..._2&book_id=123
http://www.site.ru/some_dir/get_book..._3&book_id=123

не х не понял.

Что посоветуете, как убрать два дубля одной новости, или хотябы один?
Можно ли в робота пихнуть ссылку в 50 знаков?

Спасибо!

[Ni_Splinter]

Запретить можно так

Но может лучше разные анкоры сделать ?

[vitaly-go]

Ni_Splinter вы не совсем правильно поняли вопрос

[74ivan74]

Сообщение от vitaly-go

Ni_Splinter вы не совсем правильно поняли вопрос

Да, не совсем правильно.

[vitaly-go]

74ivan74 про новость я и сам немного непонял, как это,

тоесть если брать за обычную структуру новостную, то

index.php - краткое описание
/news/ - краткое описание новости
/news/news111.php - полное описание новости
в данном случае, надо было изначально делать корневой новостной каталог
в / а не в /news/

да и... что она у вас везде целиком?

а что касательно дле я хз как оно там, может так нельзя...

[74ivan74]

Да, дубли полностью полной новости три раза.
на главной, в хоме и из хоме идет этаже новость но в другой странице, т.е. в хоме можно напихать 1000 новосте и у каждой будет свой урл не в директории хоме.
Сейчас закрыл индексацию новости с урл такого вида
новость-новость-новость-новость.html в robots.txt но думаю, что это ошибочно и в robots.txt нельзя прописывать такие длинные урл

Добавлено через 1 минуту

Сообщение от vitaly-go

в данном случае, надо было изначально делать корневой новостной каталог
в / а не в /news/

Там такая фишка, что прежде чем в корень попасть, нужно в какойто раздел новость сохранить (раздел хоме, публиковать на главной?), т.е. по любому 2 новости получается, а я еще и на главную вывел.

[vitaly-go]

Сообщение от vitaly-go

да и... что она у вас везде целиком?

?


вот пример грубый, на морде в шапке кратко
далее в статьях полная
ну и в статьях краткие и их много, отовсюду почутчуть

и вот еще 1 главный пример 3dnews.ru

его роботс

User-agent: *
Disallow:/pda
Host: www.3dnews.ru

[74ivan74]

Сообщение от vitaly-go

да и... что она у вас везде целиком?

Да

Добавлено через 16 минут

Наверное проще дописать данную статью, увеличив в 2 раза и сделать вывод в хоме и главной тот, что и сейчас но со ссылкой подробнее на 3 увеличенный в два раза дубликат.

[vitaly-go]

потерто