Вопрос по ЧПУ. Дубли страниц

[plazz]

Здравствуйте!

Вопрос по оптимизации.

Настроил ЧПУ, все вроде гуд, Но.

Сканирую скриптом сайт. Скрипт предназначен для того, что бы ходить по всем страницам сайта с целью загнать их в кеш.

Может кто-то даже с ним знаком, это скрипт с этого модуля: https://opencartforu...грузка-модулей/

 

Так вот. У меня все вроде ровно и красиво по чпу, но когда сканирую сайт, в результатах вижу картину: СКРИН прикрепил.

 

Получается, одна и та же страница, может открываться по всем ссылкам которые в скрине.

 

Понятное дело, что это не совсем гуд для сео.

 

Подскажите люди добрые, как решить этот трабл?

Или может это и не трабл вовсе и ничего решать не нужно. Может это внутренняя тема движка и так должно быть..

В общем, надо разобраться, перед тем как заливать все это дело на реальный хостинг.

 

Кстати, если кому не жалко, у кого есть сайт с красиво настроенными чпу, и сайт дружит с поисковиками, можно было бы для теста загрузить скрипт, буквально на 30 секунд, что бы прошелся по страницам и посмотреть результат. Может это так должно быть, и не нужно париться.. 

Для скана, достаточно просто ссылки магазина, я вставлю её в скрипт и с локалки запущу, буквально на 20-30 сек. Этого будет достаточно.

[thentru]

Если заданы параметры disallow в роботс для данных параметров (page, limit, order), роботы на эти страница не попадут

покажите ваш robots.txt

Змінено 3 вересня 2016 користувачем thentru

[markimax]

Вообще по умолчанию эти ссылки закрыты в robots.txt

Закройте в robots.txt если открыто

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

[plazz]

Ой йой ) Я нуб!!

Я в роботс еще вообще не лазил )

 

Прикрепил роботс

robots.txt

[thentru]

Ой йой ) Я нуб!!

Я в роботс еще вообще не лазил )

 

Прикрепил роботс

Они у вас закрыты в роботс

[plazz]

 

 

Закройте в robots.txt если открыто

А вообще, достаточно будет закрыть в роботсе, то что Вы говорите, что бы все красиво было? Или еще что-то нужно? 

[plazz]

Ничего понять не могу... 

Если у меня есть:

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

 

Значит по страницам которые начинаются с ?sort, ?order, ?limit - скрипт не должен лазить. Тем не менее - лазит.. 

В чем тогда проблема?

[AlexDW]

1. ссылку на модуль кривую дали

 

2. поисковые системы смотрят в robots, и придерживаются правил из него

хз как работает ваш срипт, скорей всего ему на robots чихать и он его не использует

[plazz]

 

1. ссылку на модуль кривую дали

 

2. поисковые системы смотрят в robots, и придерживаются правил из него

хз как работает ваш срипт, скорей всего ему на robots чихать и он его не использует

 

1. https://opencartforum.com/files/file/2239-boost-%D1%83%D1%81%D0%BA%D0%BE%D1%80%D0%B8%D1%82%D0%B5%D0%BB%D1%8C-opencart-ajax-%D0%B7%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0-%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D0%B5%D0%B9/

 

2. Я так понимаю, что надо как-то правильно поредактить .htaccess, что бы страниц которые начинаются с ?sort, ?order, ?limit - физически не существовало?

[AlexDW]

Я так понимаю, что надо как-то правильно поредактить .htaccess, что бы страниц которые начинаются с ?sort, ?order, ?limit - физически не существовало?

чтобы полностью вырубить на сайте сортировку и прочее? неправильно понимаете

 

скорей уж ваш чудо-скрипт нужно менять, чтобы он это учитывал

[plazz]

 

 

скорей уж ваш чудо-скрипт нужно менять, чтобы он это учитывал

Скрипт, вполне вменяемый, т.к. сканировал один магазин, на опенкарте, с правильными чпу. В общем, я по магазину походил, вполне адекватный, все красиво по ссылкам. Для теста, его скриптом просканил, мне красиво все ссылки скрипт выдал, никаких дублей, красота.

То есть, скрипт работает правильно.