Помогите с robots.txt - Форум о поисковых системах и социальных сетях

Страница 1 из 1
1

Помогите с robots.txt (За 5+)

Помогите с robots.txt

vetalikzenit

Воскресенье, 16.08.2009, 19:48

Проверенный

Сообщения: 803

Репутация: 643

Нужна его создать по таким категориям:
Страницы которые надо индексировать:
http://starya.net.ru/
http://starya.net.ru/index/0-27
http://starya.net.ru/news/rss/
http://starya.net.ru/blog
http://starya.net.ru/board
http://starya.net.ru/tests
http://starya.net.ru/forum
Страницы которые не надо индексировать:
http://starya.net.ru/index/0-3
/0-0-0-0-1
/images/*
Ок?

Профиль

DosSantos

Воскресенье, 16.08.2009, 22:52

Заблокированные

Сообщения: 206

Репутация: 66

Вроде так
[spoiler="robots.txt"]
User-agent: *
Allow: /index/0-27
Allow: /news/rss
Allow: /blog
Allow: /board
Allow: /tests
Allow: /forum
Disallow: /index/0-3
Disallow: /0-0-0-0-1
Disallow: /images/
[/spoiler]

Пост отредактировал DosSantos - Воскресенье, 16.08.2009, 22:54

Профиль

vetalikzenit

Воскресенье, 16.08.2009, 23:17

Проверенный

Сообщения: 803

Репутация: 643

ок попробую!

Профиль

Помогите с robots.txt (За 5+)

Страница 1 из 1
1