Непонятки с robots.txt и Гуглом - Форум о поисковых системах и социальных сетях

Страница 1 из 1
1

Непонятки с robots.txt и Гуглом

KilleRR

Понедельник, 30.01.2012, 14:46

Проверенный

Сообщения: 1035

Репутация: 1679

Добрый день. В общем, есть сайт на DLE, для него составлен роботс следующим образом:

С Яндексом всё нормально, а вот гугл не исключил указанные страницы из индекса. Если проанализровать сайт через cy-pr, то можно увидеть в списке проиндексированных страниц Гуглом следующее:
http://rghost.ru/36225252/image.png

Почему эти страницы Гугл не исключает? Как их убрать? Есть тут спецы по составлению роботса для DLE?)

Новейший белый способ монетизации download траффика без СМС
В архиваторе в обложке "Installer" оставьте только галочку "Оплата тулбаров майл ру"
(Замена ВебАсм)
[spoiler="Партнёрочка"]http://u.to/IBPUAQ[/spoiler]

Профиль

Adriano

Понедельник, 30.01.2012, 15:21

Проверенный

Сообщения: 1622

Репутация: 2359

KilleRR, ну во первых вы состваили не правильный роботс:
Disallow: /newposts/
Disallow: /index.php?subaction=newposts
Disallow: /*subaction=newposts
А во вторых вчера составили роботс, а сегодня уже хотите чтобы он переиндексировался и ненужные страницы выпали из поиска. Ждите месяц, а то и больше теперь.

Быть дерьмом может каждый, а реально заставить себя делать что-то могут не все.

Профиль

KilleRR

Понедельник, 30.01.2012, 15:53

Проверенный

Сообщения: 1035

Репутация: 1679

Adriano, сайт с таким роботсом существует уже несколько месяцев. Просто я закрывал глаза на проблему, а сейчас вот решил разобраться с этим.

Quote (Adriano)

вы состваили не правильный роботс:

не могли бы дать правильный вариант для ДЛЕ?

почему если указано например Disallow: /page/ или Disallow: /2011/ , в индекс Гоши они всё равно попадают?

Пост отредактировал KilleRR - Понедельник, 30.01.2012, 15:55

Профиль

Adriano

Понедельник, 30.01.2012, 17:44

Проверенный

Сообщения: 1622

Репутация: 2359

KilleRR, для каждого сайта лучше настраивать сайт индивидуально, но этот роботс будет получше вашего:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Quote

почему если указано например Disallow: /page/ или Disallow: /2011/ , в индекс Гоши они всё равно попадают?

потому что вы уже прописали данные дерективы после индексации. Лучшим вариантом будет добавить сайт в вебмастер и уже там проанализировать ваш роботс и что он будет закрывать, а что нет.

Быть дерьмом может каждый, а реально заставить себя делать что-то могут не все.

Профиль

Непонятки с robots.txt и Гуглом

Страница 1 из 1
1