Индексируется "мусор" , много страниц с задублир. слешами

[Sibselmash]

Приветствую всех! 

С недавнего времени заметил , что в индекс в вебмастере стали попадать страницы вида 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

В robots.txt стоит запрет и в яндексе и в гугле 

вида 

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

 

Но при проверке  в Вебмастере  "Результаты анализа robots.txt" и чеке любой такой мусорной ссылки, она стоит разрешенная , с зеленой галочкой  

 

 

Галочка seo pro в админке стоит , система os store 1.4.5.1 , robots файл лежит где нужно, вебмастер его видит ,  модулями за последними несколькими месяцами никакими не баловался, однако проблема 

обострилась именно в последнее время 

 

Братцы помогите советом , где копать, откуда идет такая генерация , правится ли это как то через системные файлы или на крайний случай, 

как закрыть на индексацию такие ссылки с задублир. слешами. Сайт постепенно стал понижаться  из за этого в выдаче 

 

 

Мой файл robots.txt

[optimlab]

1 час назад, Sibselmash сказал:

Disallow: /?limit=*
Disallow: /&limit=*

и

Disallow: /?page=*

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

[Sibselmash]

1 hour ago, optimlab said:

Тут неправильно.

 

А вы вообще свой сайтмап видели? Откройте в браузере и контрл+ф добавляйте слешы...

 

И вообще у вас там пипец! Дальше хуже...

Вас ждет дорога к опенкарт 3.х...

 

А что можно сделать с файлом Sitemap ? Убрать все строки где больше 1 слеша в конце ? 

 

И как правильно тогда настроить robots , в разных источниках указывают именно 

Disallow: /?limit=*
Disallow: /&limit=*

но это действительно не работает

 

 

[Veretin]

Всем привет. Подскажите у меня sitemap в порядке? А то у меня тоже проблема, кривым ссылкам Яша присваивает код 200 . Сайт dabydaby.ru Спасибо за ранние. 

Змінено 27 березня 2018 користувачем Veretin

[optimlab]

20 часов назад, Sibselmash сказал:

в разных источниках указывают именно

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

[Sibselmash]

13 hours ago, optimlab said:

Процитируйте источник или ссылку дайте. Я уверен на 95%, что вы ошибаетесь.

 

Sitemap поправил, убрав все строки с несколькими слэшами, ушло около 50-ти строк , как считаете , сейчас лучше ?

 

По robots просто если в гугле вбить настройка robots.txt и добавить /?limit= или /?page=* , то он сходу показывает готовые рекомендации с такими включениями

 

Я сделал сейчас вот таким образом:

 

Disallow: /*?
Disallow: /*&
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=2
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=3
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=4
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=5
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=6
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=7
Allow: /katalog/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/?page=1

 

Включил только несколько страниц где у меня много товаров  в важном разделе , 

остальные все закрыл такими 2-мя строками , сейчас вроде по анализу" Разрешены ли URL?"

в вебмастере 

Такие ссылки 

/kresla-meshki-rogozhka-flok/?page=1/////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75///////////////////////////////////

/katalog/klassnye-podarki/valiki-obnimaliki/?limit=75////////////////////////////////

 

вместо зеленой галочки стоят вот с таким знаком красного цвета "/*?*" как думаете , нормальный такой вариант ? 

 

 

 

 

 

Змінено 28 березня 2018 користувачем Sibselmash

[Polaris]

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

[Sibselmash]

1 hour ago, Polaris said:

Это решает настройкой файла htaccess (если у вас сервер Apache, конечно) и парой строк. Есть много информации на эту тему. 

Например https://proverstka.com.ua/blog/301-redirekt-so-sleshem-i-bez-nego-v-konce-url/

Это стандартная проблема опенкарта, хотя не только его. 

 

Спасибо за ответ!, но вроде это не совсем то.

Вставил код, получил ошибку переадресации . 

 

Вообще нашел еще вот такую тему ,

  , честно говоря не могу сказать, такая же там проблема как у меня, но похоже по описанию . А вообще как считаете если побороть эту проблему , Яндекс вообще поднимет позиции ? У меня в вебмастере уже 800 страниц таких проиндексированных 

с ссылками типа , 

/search/?filter_tag=&page=6/////////	N / a	200OK
/search/?filter_tag=&page=6/////////////////////////////////	N / a	200OK
/search/?filter_tag=&page=7/////	N / a	200OK
и т.д. Уже около года добавляются . Надо посмотреть , будут ли счс добавляться ссылки такого типа после запрета в robots.txt. Отпишусь !

[Polaris]

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

[Sibselmash]

15 hours ago, Polaris said:

Вы сами видели проблему, что после добавления слешей страницы отдают код 200, т.е. плодят множество дублей, у Яндекса еще и краулинговый бюджет отъедают.

Я решаю такое редиректами. 

 

 

Не могли бы вы подсказать как именно должно выглядить такое решение ? Если я правильно понимаю речь идет о файле .htaccess

[optimlab]

В 28.03.2018 в 07:29, Sibselmash сказал:

как думаете , нормальный такой вариант ? 

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

В 26.03.2018 в 20:06, optimlab сказал:

И вообще у вас там пипец! Дальше хуже...

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

В 26.03.2018 в 20:06, optimlab сказал:

Вас ждет дорога к опенкарт 3.х...

 

[Sibselmash]

1 hour ago, optimlab said:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле. А так же я вижу что вы или не умеете читать или специально игнорируете, что вам пишут.

 

На текущий момент любой школьник или конкурент может потопить ваш сайт в выдаче, путем генерирования левых адресов...

 

 

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

[markimax]

51 минуту назад, Sibselmash сказал:

 может кто то другой имел такой опыт на практике с opencart 

 

Бесплатный фикс, решающий вашу проблему с "мусором"

Спойлер

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

[Sibselmash]

9 minutes ago, markimax said:

 

Бесплатный фикс, решающий вашу проблему

  Hide contents

 

Данный фикс убирает грубую SEO ошибку проверки входящих данных
Из-за чего получаются дубли страниц с разными URL и разными canonical но одним содержимым
Что очень негативно отражается на SEO
В индекс попадают страницы с такими URL

site.com/index.php?route=product/product&product_id=1/ (слеш в конце)
или

site.com/index.php?route=product/product&product_id=1.111

или

site.com/apple/?page=2///

 

Фикс исправляет эту ошибку
Рекомендуется использовать с seo_pro

 

 

 

Спасибо! Только у меня ссылка не открывается 

[markimax]

3 минуты назад, Sibselmash сказал:

Спасибо! Только у меня ссылка не открывается 

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

[Polaris]

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

[Sibselmash]

29 minutes ago, markimax said:

На модерировании еще видно
Как модераторы одобрят - тогда  будет доступна ссылка

Спасибо ! Постараюсь проделать все, я вроде похожую тему находил , если это та инструкция где нужно работать с базой , делать запросы , 

боюсь что сам не смогу справиться , но отпишусь в любом случае !

[Sibselmash]

5 minutes ago, Polaris said:

Приведите пример своего .htaccess, смотря что у вас там прописано, могут быть и циклические переадресации.

 

 

Да, вот пожалуйста , Там есть строки

RewriteCond %{REQUEST_URI} ^/informaciya/tkani-i-razmery/tipy-tkani/velikolepnyy-tureckiy-shenill.html$
RewriteRule ^(.*)$ http://beanlife.ru/beskarkasnaya-mebel/kreslo-meshok-kreslo-grusha/ [L,R=301]

 

Это я уже с несуществующих разделов делал переадресацию  

.htaccess

[optimlab]

3 часа назад, Sibselmash сказал:

 

Я попросил конкретно подсказать как вы решаете эту проблему своими редиректами , раз вы затронули эту тему или посмотреть мой пример и сказать рабочий это вариант или нет, то что я нашел в гугле , не решает эту проблему ,   не хочу я переходить на opencart 3.0 , 

может вообще тогда движок сменить и переехать сразу в другую страну ? По вашим ответам вы все знаете , и все у вас школьники и дилетанты , но конкретно вы ничего так и не написали , ладно, может кто то другой имел такой опыт на практике с opencart 

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*

Disallow: /&sort=*

Disallow: /?order=*

Disallow: /&order=*

Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

4 часа назад, optimlab сказал:

Я думаю, что вы невнимательны и хотите чтоб вас научили пользоваться поиском в гугле.

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

[Sibselmash]

On 31.03.2018 at 12:08 AM, optimlab said:

Моя тактика помощи не является копать яму за кого-то, а я даю лопату и учу капать эту яму. Но если человек на мой конкретный вопрос, показать "пруф" с с его явно ошибочной инфой, начинает умничать и рассуждать в неправильном направлении, то бог ему судья, не хочет учиться, пусть и дальше постит дурацкие вопросы..

Даже по вашему запросу в гугле выдаются правильные варианты, но в силу того, что для вас

Это:

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

 

является аналогом этого(неправильно):

Disallow: /?sort=*

Disallow: /&sort=*

Disallow: /?order=*

Disallow: /&order=*

Disallow: /?limit=*

Disallow: /&limit=*

 

Я вам чётко и ясно намекнул:

 

Я считаю что я вам дал достаточно информации как для новичка. Вам тут никто не обязан ничем. Но вы соизволили обидеться, что за вас "не выкопали яму" и еще какие-то претензии предъявляете..

Вам должно быть стыдно за свою лень и разгильдяйство!

 

Я просто пытаюсь разобраться, я не профессионал . А как то по вашим советам вы рекомендуете "отрезать руку" когда болит палец, 

но конечно я также невнимателен , признаю 

 

 

Установил модуль уважаемого  markimax

Все равно "проходят" ссылки такого вида , с задублир. слэшами , в настройках модуля все стоит . 

есть ли какой то вариант закрыть задублированный слэш через robots или htaccess ?

 

 

[adida]

Зд-те.

А как объяснить если вдруг в индекс попали несуществующие страницы подкатегорий. На сайте только топ-категории, например https://100kotlov.by/kotly-gazovye/ подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс. Разумеется, возникает дубликат статьи на топ-категории . Вначале я делал редирект в .htaccess, но они все время возвращаются. Уже устал отслеживать. В карте сайта этих страниц нет. Можно ли в .htaccess прописать запрет на все что идет после топ-категории?

[Otvet]

5 минут назад, adida сказал:

я делал редирект в .htaccess

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

[markimax]

1 час назад, adida сказал:

 

 подкатегории  типа https://100kotlov.by/kotly-gazovye/napolnyy/ferroli давно удалены - может 2 года назад.  А тут они попадают в индекс.

 

Есть они

[adida]

Так вот те на! Так это производитель, он и в фильтре есть, а не подкатегория.  почему к url  категории добавляется url производителя? в реальности, такой подкатегории нет уже давно... но она есть  если ввести прямо в адресную строку адрес

 

 есть ли смысл делать в robots.txt 

Allow:/ топкатегория 

Disallow: /топкатегория*      - как-то так ?

Змінено 11 квітня 2018 користувачем adida

[adida]

9 часов назад, Otvet сказал:

1. не лезьте в htaccess

 

2. не лезьте в htaccess

 

3. установите сеопро, проблема должна решиться

 а где взять  seo pro? на официальном opencart.com или какого-то русс. язычного  - может есть какой-то более адаптированный?