|
Robots
|
|
Вторник, 12.07.2011, 13:29
Заблокированные
Я не уверен, что у меня правильно составлен роботс.
У меня много страниц под фильтром поисковиков, таких как:
http://system4ik.ru/?cstart=8&do=lastcomments
http://system4ik.ru/?do=tags
http://system4ik.ru/?subaction=userinfo&user=
Полный список >>
[spoiler="Роботс, который составил оптимизатор"]
User-agent: Yandex
Disallow: /user/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /links/*
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Sitemap: http://system4ik.ru/sitemap.xml
Host: system4ik.ru
User-agent: *
Disallow: /user/*
Disallow: /engine/*
Disallow: /favorites/*
Disallow: /links/*
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Sitemap: http://system4ik.ru/sitemap.xml
[/spoiler]
При таком составе, всё равно поисковики индексируют эти страницы. |
Пост отредактировал killеr - Вторник, 12.07.2011, 13:29 |
|
Вторник, 12.07.2011, 13:42
Проверенный
| помоему роботс правильно составлен |
21 век - дрочат на группу "модератор/мл.модератор" |
|
Вторник, 12.07.2011, 13:44
Заблокированные
| vAnqa, тогда почему страницы индексируются? |
|
Вторник, 12.07.2011, 14:03
Проверенный
Quote (killеr) тогда почему страницы индексируются?
Потому что они не запрещены в роботсе... |
|
Вторник, 12.07.2011, 14:29
Заблокированные
Quote (CherVal) Потому что они не запрещены в роботсе...
А это уже, что-то новенькое.
как их запретить ? |
|
Вторник, 12.07.2011, 14:50
Заблокированные
Quote (CherVal) Потому что они не запрещены в роботсе...
Запрещены.
Не запрещены, потому и индексируются.
Quote (killеr) Disallow: /user/*
А вот звёздочки действительно что-то новое =)Добавлено (12.07.2011, 14:50)
---------------------------------------------
И кстати. Прикол. У тебя отключён ЧПУ, а в роботсе закрыты ссылки с ЧПУ. Делай выводы =) |
|
|
Вторник, 12.07.2011, 14:50
Проверенный
Quote (killеr) как их запретить ?
Code Disallow: /?cstart=8&do=lastcomments
Disallow: /?do=tags
Disallow: /?subaction=userinfo&user=
Роботс какой-то баран делал. Даже сайтмапа нету по тому адресу, который указан. |
|
Вторник, 12.07.2011, 14:54
Заблокированные
Quote (alexsey9999) И кстати. Прикол. У тебя отключён ЧПУ, а в роботсе закрыты ссылки с ЧПУ. Делай выводы =)
Вот я так и думал, что в этом причина, что у меня длиннее ссылки, чем стоят в лоботрясе и их нужно заменить.
Спасибо за ответы, тема закрыта! |
|
