Получи клиентов из интернета!



Яндекс вводит новую директиву для robots.txt — Clean param

Дата: 01.02.2009
Рубрика: Яндекс

   Совсем недавно Яндекс предоставил возможность вебмастерам использовать новую директиву для robots.txt – Clean param. Итак, обо это поподробнее…

robots.txt с clean-param

   Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы Clean-param. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

   Например, на сайте есть страницы:

www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

   Параметр ‘ref=’ используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой ‘book_id=123’. Тогда, если в robots.txt указать Clean-param: ref /some_dir/get_book.pl вот так:

User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl

робот Яндекса сведет все адреса страницы к одному:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
и будет чаще обходить другие страницы вашего сайта, так как нет необходимости обновлять страницы:
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

Синтаксис использования директивы:
Clean-param: p0[&p1&p2&..&pn] [path]
   В первом поле через ‘&’ перечисляются параметры, которые нужно не учитывать. Во втором поле указывается префикс пути страниц, для которых нужно применить правило.

   Префикс может содержать регулярное выражение в формате, аналогичном robots.txt, но с некоторыми ограничениями: можно использовать только символы A-Za-z0-9.-/*_. При этом * трактуется так же, как в robots.txt. В конец префикса всегда неявно дописывается ‘*’, то есть:
Clean-param: s /forum/showthread.php
означает, что будет сбрасываться параметр s у всех url-ов, начинающихся с /forum/showthread.php. Второе поле указывать необязательно, в этом случае параметр(ы) не будет учитываться для всех адресов страниц сайта. Регистр учитывается. Действует ограничение на длину правила — 500 символов, например:
Clean-param: abc /forum/showthread.php
Clean-param: sid&sort /forumt/*.php
Clean-param: someTrash&otherTrash

   Если у вас есть форумы и другие ресурсы для которых эта директива будет актуальна, то обязательно используйте ее. Ведь проблемы с индексацией на таких ресурсах не редкость, и это дает возможность роботу намного лучше индексировать сайт, не обновляя и не загружая постоянно одни и те же страницы с одинаковым контентом.

   А если вам нужна дополнительная информация, либо ресурс по созданию robots.txt для сайта, тогда могу посоветовать robots.txt Generator от Google Webmaster Central. Это переводчик на язык robots.txt, который как раз таки поможет тем, у кого создание данного файла вызывает трудности. Теперь чтобы запретить или разрешить индексацию элементов сайта, их нужно просто указать в robots.txt Generator. Правильность созданного вами robots.txt можно будет проверить с помощью анализатора robots.txt — analysis tool. После этого нужно сохранить созданный файл в корневом каталоге сайта.

   Соответственно robots.txt Generator создает файлы под Google-бота, но они также понятны многим другим крупным роботам. Следовательно в созданный вами robots.txt нужно будет добавить новую директиву от Яши, как это указано в примере, и все будет ОК 🙂

P.S.

Блог начинающего Астраханского SEOшника, Мишкины Хроники, Пишу о том, что думаю

———————————————————————————————————

Постовой:

   Тема заработка в сети всегда актуальна, а на форуме про интернет заработок как раз таки можно найти актуальные методы и способы.

   Если ваш сайт региональной тематики, а этот регион питерский, тогда закажите продвижение сайтов в Санкт-Петербурге, либо веб-аналитику или управление контекстной рекламой.

   Все уже наверно знают про новую систему SEOpult. А раз она новая, всегда актуальна инструкция сеопульт по работе с системой.

   Можно очень легко и не дорого создать сайт воспользовавшись услугами веб дизайн-студии PoliMax.

.

Заявка на бесплатный аудит вашего сайта

Оставляйте адрес вашего сайта – мы найдем все ошибки, мешающие его продвижению и предложим дальнейшее его развитие!

x

Заявка на бесплатный аудит

Лайкаем!
Хочешь получать свежие статьи о продвижении, smm и заработке в интернете самым первым? Не забудь подписаться на рассылку!
Мнения:
  • Санёк
    1 февраля 2009 в 18:54

    По поводу сервиса: я считаю что robots.txt нужно составлять ручками, а не на автомате. Все-таки это не так уж и сложно, а сервису я бы такое дело не доверил.

  • SEOinSoul
    2 февраля 2009 в 12:54

    Ну это естественно, я тоже за ручное создание. Но например новичкам попробовать, понять будет как раз кстати

  • PeterQ
    2 февраля 2009 в 13:39

    Яндекс совершенствуется в правильном направлении 🙂
    SEOinSoul, хорошая статья, правда. Не удержался и скопировал в свой юный проект. Естественно, со ссылкой. Если возражений нет — оставлю 🙂

  • SEOinSoul
    2 февраля 2009 в 15:50

    Ну вообще не против, к тому же что я могу сделать если вы ставите ссылку на источник, в этом нет ничего противозаконного 😉
    А вот ссылку оформите по законному так сказать, уберите атрибут rel=»external nofollow», а то не хорошо получается. Ведь этот атрибут также запрещает индексацию Гуглом. А ставить ссылки на источник закрыв их от поисков плоховато будет…

  • PeterQ
    2 февраля 2009 в 16:41

    Пардон — не по злому умыслу 🙂
    просто недоглядел.
    Уже поправил.

  • Пузат в линкомаулия
    3 февраля 2009 в 09:49

    Поисковые системы всё сильнее и сильнее закручивают гайки на продвижение дорами, а дорами как правило двигают фарму, адалт, казино и прочее что Яндекс не любит. Интересно когда доры перестанут существовать как способ заработка в Интернете?

  • SEOinSoul
    3 февраля 2009 в 11:01

    2Пузат
    Мое мнение, мне кажется еще очень не скоро. Только после того как поисковые технологии выйдут на более высокий уровень…

  • Денис
    6 февраля 2010 в 02:41

    сейчас то изменилось что-нибудь?

  • SEOinSoul
    6 февраля 2010 в 12:45

    2Денис
    Да ничего собственно…

Теперь ваше мнение:

x

Заявка на продвижение сайта

x

Заявка на бесплатный аудит