Настройка robots.txt в blogspot (blogger).

Настройка robots.txt на платформе blogger имеет важную роль в оптимизации вашего блога. С помощью этих манипуляций вы улучшите индексацию сайта в поисковых системах.

Приведу примеры как этот файл настроен у меня. Можете так само выставить для себя.

Специальный файл robots.txt. Адрес блога замените на свой, это обозначено красным цветом.

 

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /p/search.html

Allow: /

Sitemap: http://jaswindows.blogspot.com/feeds/posts/default?orderby=updated

User-agent: Yandex

Disallow: /search

Disallow: /p/search.html

Allow: /

Специальный тег заголовка с параметром robots. Пройдите в "Настройки - Нстройки поиска".

noodp - параметр запрещает брать описание сайта из dmoz для сниппета. Сниппет - это описание к ссылке которая выдана в результатах поиска. Из практики могу сказать, описание и без этого параметра хорошо берется из самой статьи.

Следующий блок "Архивировать и искать страницы" предназначен именно для блока архив. Зачем же вам дубликаты страниц, это плохо скажется на поисковой оптимизации. Как на скрине запрещаем индексирование такой информации по максимуму.