Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Снять запрещение в robots.txt


Рекомендованные сообщения

Здравствуйте!
 
До основного вопроса сначала хотел узнать с чем может быть связано такое (на мой взгляд неадекватное) колебание страниц моего сайта в поиске Яндекса? (см. скриншот)
Теперь насчет исключенных из поиска страниц. По поводу исключенных по причине неканоничности пока претензий не имею. А вот что касается страниц исключенных по причине запрета в роботс, тут хочется исправить.
Исходя из скриншота, страницы типа обведенных красным в robots.txt пусть и будут исключены, страницы типа обведенных зеленым пусть будут в поиске. Помогите, пожалуйста, в связи с этим настроить файл роботс.
 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Примеры страниц, с которых надо снять запрет на индексацию:

http://prowife.ru/bahily-teksturirovannye-20-mkr-fasovannye-plotnye-rossiya#.UxRi94Uxg6E

http://prowife.ru/narukavnik-pnd-4020sm-16-mkr-kitaj#.UxRjIoUxg6E

http://prowife.ru/ramka-derzhatel-dlya-plana-uborki-voleofleks-vileda#.UxRjMoUxg6E

http://prowife.ru/kleenguard-a40-zashita-ot-bryzg-zhidkostej-i-tverdyh-chastic#.UxRjToUxg6E

post-674214-0-03218800-1393843697_thumb.png

post-674214-0-92876100-1393844959_thumb.png

Ссылка на комментарий
Поделиться на других сайтах


Скажите, пожалуйста, как расшифровывается данная связка? Запрет на индексирование товара, путь к которому идет от производителя?

Disallow: /index.php?route=product/product*&manufacturer_id=

И еще хотел спросить, может я зря шухера навел и в роботс все нормально? А лучше вместо этого поработать над уменьшением кол-ва неканонических документов? Статистика такая: загружено роботом - 2199 стр, в поиске - 364, исключено из-за роботс - 365, исключено из-за неканоничности - 514.

Сразу хочу сказать, что много где добавлял сопутствующие товары. А я так понимаю, что это влияет на количество неканонических документов.

prowife.ru

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.